基于peft的lora进行模型qwen0.5的微调、合并、转换为.gguf

 背景：

当前火热的大模型技术，让我这个老程序员多少有点好奇，想看看这东西是什么？浅尝辄止的玩一下，由于个人初学，理解上肯定不专业甚至会有错误。本博客只给和我一样的菜的兄弟提供参考，也为自己做个记录。

材料：

1、一台有显卡的电脑，纯CPU微调真的很慢，10条记录能跑半个小时。

2、下文实验的电脑是 T480，显卡是MX150独显，只有2G显存.

制作： 

安装显卡驱动 

1、windows任务管理器–性能–GPU–含有NVIDIA

我们可以通过nvidia-smi命令查看自己的显卡CUDA 版本

2、下载地址：CUDA Toolkit Archive | NVIDIA 0eveloper 

3、下载后双击安装即可（我采用了默认精简安装，一路下一步即可） 

安装完成后输入nvcc -V进行查看版本

安装pytorch--gpu等python库

1、根据要下载的Pytorch版本选择python版本，以下有对照。目前python3.9适用性强。

2、通过Start Locally | PyTorch

  

找到与自己匹配的即可（高版本兼容低版本的，我安装的是 12.4 也可以）

5、复制上面的命令在环境中进行安装即可，这个安装很费时间。

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu124

 6、通过下面命令来验证是否成功

import torch
torch.cuda.is_available()

训练

数据格式 

[
{
        "Question": "根据描述，一个1岁的孩子在夏季头皮出现多处小结节，长期不愈合，且现在疮大如梅，溃破流脓，口不收敛，头皮下有空洞，患处皮肤增厚。这种病症在中医中诊断为什么病？",
        "Complex_CoT": "这个小孩子在夏天头皮上长了些小结节，一直都没好，后来变成了脓包，流了好多脓。想想夏天那么热，可能和湿热有关。才一岁的小孩，免疫力本来就不强，夏天的湿热没准就侵袭了身体。\n\n用中医的角度来看，出现小结节、再加上长期不愈合，这些症状让我想到了头疮。小孩子最容易得这些皮肤病，主要因为湿热在体表郁结。\n\n但再看看，头皮下还有空洞，这可能不止是简单的头疮。看起来病情挺严重的，也许是脓肿没治好。这样的情况中医中有时候叫做禿疮或者湿疮，也可能是另一种情况。\n\n等一下，头皮上的空洞和皮肤增厚更像是疾病已经深入到头皮下，这是不是说明有可能是流注或瘰疬？这些名字常描述头部或颈部的严重感染，特别是有化脓不愈合，又形成通道或空洞的情况。\n\n仔细想想，我怎么感觉这些症状更贴近瘰疬的表现？尤其考虑到孩子的年纪和夏天发生的季节性因素，湿热可能是主因，但可能也有火毒或者痰湿造成的滞留。\n\n回到基本的症状描述上看，这种长期不愈合又复杂的状况，如果结合中医更偏重的病名，是不是有可能是涉及更深层次的感染？\n\n再