llama-factory+ollama【qwen2.5-7b模型使用甄嬛语录可视化微调案例】

本文链接：https://blog.youkuaiyun.com/daroubaozi123/article/details/146252214

qwen2.5-7b模型使用甄嬛语录微调案例

python虚拟环境 conda安装

python虚拟环境 conda安装

前人栽树，后人乘凉，参考大佬博客安装，很是详细，链接如下：https://blog.youkuaiyun.com/wh0605/article/details/142979657。

llama-factory安装

在网上找到的一些教程里面，总会出一些莫名的版本兼容错误，经过一番摸索，搞了出来，特此记录一下：

python虚拟环境版本为3.12 ，注意，不可使用小于3.10或大于3.12的版本，有很多包的兼容性不行；
安装CUDA，从NVIDIA官网下载并安装适合显卡的CUDA版本nvidia-smi。
这里我下载的是12.8版本的，选择适合自己显卡驱动版本的；
安装完毕后，cmd输入nvcc -V查看是否安装成功。
下载llama-factory，网页访问https://github.com/hiyouga/LLaMA-Factory；或者用git命令下载
在第一步中创建了虚拟环境，现在解压llama-factory的压缩包，进入根目录，打开cmd，输入activate XXX启动虚拟环境；
在cmd中输入pip install -r requirements.txt安装必要的环境，如果遇到错误，需要切换pip源为清华或者阿里源；
如果上述操作无法解决问题并且仍然报错，考虑没有安装ffmpeg库，从github上下载并使用pip安装，并配置好环境变量；
cmd中输入llamafactory-cli webui，如果提示llamafactory-cli不是内部或者外部的命令，则输入pip install -e .[metrics]重新安装一遍；
注意，还需要安装环境中的pytorch，否则启动会报错
在运行llama-factory之前，我们需要确认cuda及环境是否安装完毕。
查看输出内容是否有报错，无报错cuda即为可用

	import torch
		print(f'torch的版本是：{torch.__version__}')
		print(f'torch是否能使用cuda：{torch.cuda.is_available()}')

开始训练

启动llama-factory，cmd中输入llamafactory-cli webui，等待默认浏览器自动打开或者手动在网页中输入http://localhost:7860/,看到网页打开即为完成
下载模型文档，这里我使用的是python代码下载的qwen2.5-7b的，代码如下

import torch
from modelscope import snapshot_download
import os
model_dir = snapshot_download('qwen/Qwen2.5-7B-Instruct', cache_dir='./', revision='master')

其中注意下载的文件地址，后面你需要用上

选择下载的模型名称及模型在本地的路径
准备好训练数据集，放入llama-factory根目录中的data文件夹中，并且修改其中的dataset_info.json文件
选中你的数据集，然后点击开始训练，等待训练完成即可。
测试模型训练结果，检查点路径中选择杠训练完成的模型，点击下方的chat标签
点击加载模型，等模型加载完成后进行对话即可验证训练效果，若训练效果不理想，可以尝试改变训练参数重新训练。

模型导出

导出模型，放入ollama中，在点击export，设置到处模型位置，点击开始导出，等待导出完成，注意预留足够大的内存空间
导出完成后，进入导出的文件夹中，在有makefile的根目录打开cmd窗口，输入ollama create chat-huanhuan -f ModelFile即可将模型导入ollama中，此处需要有足够大的空间。
创建完成后，输入ollama list 即可查看刚刚创建的模型，ollama run chat-huanhuan:latest即可运行模型，进行对话。