GLM4-9B-chat模型微调

丹宇码农

已于 2024-06-19 15:07:27 修改

阅读量3.9k

点赞数 8

分类专栏： AI 文章标签： AI GLM4 LoRA 模型微调人工智能

于 2024-06-18 22:53:43 首次发布

本文链接：https://blog.youkuaiyun.com/happyweb/article/details/139785290

版权

AI 专栏收录该内容

7 篇文章

订阅专栏

文本记录GLM4-9B-Chat模型进行LoRA微调的过程。

一、环境：

操作系统: Ubuntu 22.04
CUDA: 12.1
GPU: 3090 x 2

创建conda环境：

conda create -n glm4 python=3.10.14
conda activate glm4

cd /home/data/chatglm4-finetune

二、数据准备

运行data_process.py将数据处理为模型指定的格式：
{"messages": [
{"role": "user", "content": "你好"},
{"role": "assistant", "content": "我是大爱同学，由码农丹宇研发"}
]
}

注意：输出的格式为.jsonl

训练集或验证集的数据量不能少于50条。

数据生成到/home/data/chatglm4-finetune/data/whoAreYou_fix/目录下，存在一个train.jsonl和dev.jsonl

三、安装依赖

 git clone https://github.com/THUDM/GLM-4.git
 cd /home/data/chatglm4-finetune/GLM-4/basic_demo
 pip install -r requirements.txt
 
 cd /home/data/chatglm4-finetune/GLM-4/finetune_demo
 注意修改requirements.txt中的datasets>2.20.0为datasets>=2.20.0
 pip install -r requirements.txt

四、修改配置参数

修改config/lora.yaml中的参数，主要根据数据集的大小修改max_steps和save_steps

五、微调

cd /home/data/chatglm4-finetune/GLM-4/finetune_demo

1.单机单卡：
CUDA_VISIBLE_DEVICES=0 python finetune.py  /home/data/chatglm4-finetune/data/whoAreYou_fix/  /home/data/model/zhipu/glm-4-9b-chat  configs/lora.yaml

2.单机多卡/多机多卡：
export CUDA_VISIBLE_DEVICES=0,1
OMP_NUM_THREADS=1 torchrun --standalone --nnodes=1 --nproc_per_node=2  finetune.py /home/data/chatglm4-finetune/data/whoAreYou_fix/ /home/data/model/glm-4-9b-chat configs/lora.yaml

六、使用微调后的模型进行推理

在完成微调任务之后，我们可以查看到 output 文件夹下多了很多个checkpoint-*的文件夹，这些文件夹代表了训练的轮数。

checkpoint-*的文件夹的目录下面会有adapter_config.json文件，里面有一个基模型的路径base_model_name_or_path，记录着模型基座的路径。

cd finetune_demo
CUDA_VISIBLE_DEVICES=1 python inference.py output/checkpoint-3000/ --prompt "你是谁？"

七、合并模型

将基座模型和lora微调的增量模型合并成一个完整的大模型：

cd /home/data/chatglm4-finetune
# 第一个参数为微调后模型的路径，后面那个参数为合并后的模型输出路径
python merge_hf2.py /home/data/chatglm4-finetune/GLM-4/finetune_demo/output/checkpoint-16000/ --out-dir ./merge_model

merge_hf2.py的源码参见上一篇微调文章。