LLaMA-Factory微调和部署指南

1.conda创建自己虚拟环境并且激活

conda create --name myenv python=3.10
conda activate myenv

2.安装LLaMA-Factor

git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -e .

3.下载训练的大模型 （以通义千问2.5-1.5B-Instruct为例，SDK进行下载）

先下载modelscope包
pip install modelscope

#模型下载
from modelscope import snapshot_download
model_dir = snapshot_download('Qwen/Qwen2.5-1.5B-Instruct',cache_dir=r'/root/autodl-tmp/demo/model')

 4.加载自定义数据集放到/root/autodl-tmp/demo/LLaMA-Factory/data下（下面是用vscode连接）

下面修改dataset_info.json（防止WebUi进去train的Dataset选不到）

5.在LLaMA-Factory下启动WebUI（使用VSCode有自动转发功能）

llamafactory-cli webui

6.进入http://localhost:7860/中进行配置，选中自己的模型和数据集

7.点击下面开始训练，报错，那么根据提示进行安装

pip install bitsandbytes==0.37.0

8.点击开始训练，又报错，那么重新安装bitsandbytes

pip uninstall bitsandbytes -y
pip install bitsandbytes  # 尝试默认安装

9.点击开始进行训练

10.测试趋于平缓进行验证

11.验证通过进行合并打包