LLaMA-Factory微调大模型

原创

已于 2025-04-10 16:09:08 修改 · 1.8k 阅读

17 ·

CC 4.0 BY-SA版权

文章标签：

#llama #AI

于 2025-03-20 17:34:09 首次发布

LLaMA-Factory安装

github 下载 LLaMA-Factory项目
在这里插入图片描述

创建虚拟环境

conda create -n  llama_factory python==3.10

激活

 activate llama_factory

torch 安装

conda install pytorch==2.3.1 torchvision==0.18.1 torchaudio==2.3.1 pytorch-cuda=12.1 -c pytorch -c nvidia

依赖安装

pip install requirements.txt

在这里插入图片描述
解决方案：

pip install -r F:\conda_work\LLaMA-Factory-main\requirements.txt

在这里插入图片描述

pip install -e .[metrics]

在这里插入图片描述

检测 llamafactory 命令有哪些

llamafactory-cli train -h

在这里插入图片描述

启动

llamafactory-cli webui

如果要开启 gradio的share功能，或者修改端口号

// 改端口 改IP 端口默认是7860  GRADIO_SHARE是允许远程访问 USE_MODELSCOPE_HUB设为1，表示模型来源是ModelScope
USE_MODELSCOPE_HUB=1 CUDA_VISIBLE_DEVICES=0 GRADIO_SHARE=1 GRADIO_SERVER_PORT=7860

在这里插入图片描述

设置中文语言

下载模型

下载开源模型

在这里插入图片描述

微调数据集

偏好数据
sft微调一般用alpaca格式，dpo优化的偏好数据一般用sharegpt 格式

DPO优化偏好数据集
下面是DPO优化偏好数据集示例：
https://huggingface.co/datasets/hiyouga/DPO-En-Zh-20k/viewer/zh?row=5

HelpSteer2
英伟达开源的HelpSteer2
https://huggingface.co/datasets/nvidia/HelpSteer2
论文：https://arxiv.org/pdf/2406.08673

数据集注册
数据集格式
在这里插入图片描述

自定义数据集
创建 dataset_info.json 文件，这个文件需要放到 LLaMA-Factory-main\data 目录下

在这里插入图片描述

我们用longgeai的甄嬛数据集进行测试
我们先下载alpaca格式的 huanhuan.json数据集
可以在这儿下载数据集进行测试：https://www.modelscope.cn/datasets/longgeai3x3/huanhuan-chat/files
在这里插入图片描述
将下载的 huanhuan.json文件放到data目录

在这里插入图片描述
然后打开 dataset_info.json 文件，将 huanhuan.json 注册进去

    "huanhuan_chat": {
   
   
    "file_name": "huanhuan.json"
  },

在这里插入图片描述
保存之后在界面上就可以找到

点击预览数据集可以查看数据集的格式

微调

对话模版选择 qwen 是因为我这里的底座模型选择的是qwen系列的
微调方法：一般选择lora ，显卡的要求较低
量化等级：如果 Qlora 这里就要选择量化等级
训练阶段：做私有知识库就选sft
数据集：可以选择自定义的，后文会介绍如何自定义
批处理大小：是根据显卡发小以及数据集的大小进行调整的
计算类型：老显卡不支持bf16

在这里插入图片描述

微调中断续调

命令
llamafactory-cli eval 是评估模型命令
llamafactory-cli train 是训练模型命令
llamafactory-cli api 是api服务命令
需要调整对应参数即可

llamafactory-cli train `
    --stage sft `
    --do_train True `
    --model_name_or_path Qwen/Qwen2.5-Coder-0.5B `
    --preprocessing_num_workers 16 `
    --finetuning_type lora `
    --template default `
    --flash_attn auto `
    --dataset_dir data `
    --dataset huanhuan_chat `
    --cutoff_len 2048 `

最低0.47元/天解锁文章