LLaMA-Factory微调大模型Qwen2.5

1、开始ModelScope社区GPU环境

训练或微调模型都是非常耗费算力的。如果电脑的配置不高，可使用一些云服务器来做这项工作。如ModelScope(魔搭)社区的GPU环境，目前提供36小时免费运算，足够微调一个大模型了。

注册ModelScope(魔搭)社区账号（可能还要注册或认证阿里云账号），进入“我的NoteBook”：

我的Notebook · 魔搭社区

启动大概需要2分钟，等GPU环境启动好以后点击"查看NoteBook"进入。

开启后，会提示永久性数据只保存在/mnt/workspace/目录下。

魔塔社区内置了JupyterLab的功能，进入之后，可以找到 Notebook 标签，新建一个Notebook(当然你在terminal 里执行也没问题)。

如下箭头所示，点击即可创建一个新的 Notebook 页面。

2、克隆LLaMA-Factory

（如果使用本地电脑进行微调，以下步骤都可参考）

打开NoteBook的终端，在默认目录（/mnt/workspace/）下执行命令：

git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git

建议使用--depth 1参数，将data及一些示例的训练数据下载下来，以便修改微调。

3、配置环境

3.1、创建虚拟环境

进入LLaMA-Factory目录：

cd LLaMA-Factory/

创建虚拟环境：

python -m venv env  #　env为虚拟环境文件夹名称，可自定义，如llama-factory-env

激活虚拟环境：NoteBook终端是linux系统，激活虚拟环境命令如下（同macOS）：

source env/bin/activate # env为创建的虚拟环境名称

如果是windows系统，使用如下命令激活虚拟环境：

env\Scripts\activate

注意：重启NoteBook后，记得先激活虚拟环境！

3.2、安装依赖

安装必要的依赖，如：

pip install --upgrade pip     # 更新pip
pip install bitsandbytes>=0.39.0 

3.3、安装LLaMA-Factory

使用以下命令安装：

pip3 install -e ".[torch,metrics]"

4、模型下载测试

4.1、下载模型

首先下载LLM大语言模型，这里使用QWen2.5-0.5B，参数5亿个，微调时间短，在低配置电脑上也能运行。

模型在魔搭社区上有，地址是：

https://www.modelscope.cn/models/Qwen/Qwen2.5-0.5B-Instruct/summary

将目录回退到/mnt/workspace/，根据网页提