大模型微调指南之 LLaMA-Factory 篇：一键启动LLaMA系列模型高效微调

一、简介

LLaMA-Factory 是一个用于训练和微调模型的工具。它支持全参数微调、LoRA 微调、QLoRA 微调、模型评估、模型推理和模型导出等功能。

二、如何安装

2.1 安装

# 构建虚拟环境
conda create -n llamafactory python=3.10 -y && conda activate llamafactory
# 下载仓库
git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
# 安装
pip install -e .

2.2 校验

llamafactory-cli version

三、开始使用

3.1 可视化界面

# 启动可视化界面
llamafactory-cli webui

WebUI 主要分为四个界面：训练、评估与预测、对话、导出。

• 训练：
  • 在开始训练模型之前，您需要指定的参数有：
  • 模型名称及路径
  • 训练阶段
  • 微调方法
  • 训练数据集
  • 学习率、训练轮数等训练参数
  • 微调参数等其他参数
  • 输出目录及配置路径

随后，点击 开始 按钮开始训练模型。

备注：
关于断点重连：适配器断点保存于 output_dir 目录下，请指定 检查点路径 以加载断点继续训练。
如果需要使用自定义数据集，需要在 data/data_info.json 中添加自定义数据集描述并确保 数据集格式 正确，否则可能会导致训练失败。

• 评估预测

  • 模型训练完毕后，可以通过在评估与预测界面通过指定 模型 及 检查点路径 在指定数据集上进行评估。

• 对话

  • 通过在对话界面指定 模型、 检查点路径 及 推理引擎 后输入对话内容与模型进行对话观察效果。

• 导出

  • 如果对模型效果满意并需要导出模型，您可以在导出界面通过指定 模型、 检查点路径、 分块大小、 导出量化等级及校准数据集、 导出设备、 导出目录 等参数后点击 导出 按钮导出模型。

3.2 使用命令行

3.2.1 模型微调训练

在 examples/train_lora 目录下有多个LoRA微调示例，以 llama3_lora_sft.yaml 为例，命令如下：

llamafactory-cli train examples/train_lora/llama3_lora_sft.yaml

备注：
LLaMA-Factory 默认使用所有可见的计算设备。根据需求可通过 CUDA_VISIBLE_DEVICES 或 ASCEND_RT_VISIBLE_DEVICES 指定计算设备。

参数说明：

名称	描述
model_name_or_path	模型名称或路径（指定本地路径，或从 huggingface 上下载）
stage	训练阶段，可选: rm(reward modeling), pt(pretrain), sft(Supervised Fine-Tuning), PPO, DPO, KTO, ORPO
do_train	true用于训练, false用于评估
finetuning_type	微调方式。