满足你的个性化需求！ChatGLM4 模型微调教程

算家计算

于 2024-12-16 17:53:44 发布

阅读量925

点赞数 20

CC 4.0 BY-SA版权

分类专栏：模型构建文章标签：模型微调 ChatGLM4 算家云应用社区智能对话

本文链接：https://blog.youkuaiyun.com/SJJS_1/article/details/144514351

模型构建专栏收录该内容

200 篇文章

订阅专栏

一、大模型 ChatGLM4 简介

GLM-4-9B 是智谱 AI 推出的最新一代预训练模型 GLM-4 系列中的开源版本。在语义、数学、推理、代码和知识等多方面的数据集测评中， GLM-4-9B 及其人类偏好对齐的版本 GLM-4-9B-Chat 均表现出超越 Llama-3-8B 的卓越性能。

除了能进行多轮对话，GLM-4-9B-Chat 还具备网页浏览、代码执行、自定义工具调用（Function Call）和长文本推理（支持最大 128K 上下文）等高级功能。本代模型增加了多语言支持，支持包括日语，韩语，德语在内的 26 种语言。我们还推出了支持 1M 上下文长度（约 200 万中文字符）的 GLM-4-9B-Chat-1M 模型和基于 GLM-4-9B 的多模态模型 GLM-4V-9B。

GLM-4V-9B 具备 1120 * 1120 高分辨率下的中英双语多轮对话能力，在中英文综合能力、感知推理、文字识别、图表理解等多方面多模态评测中，GLM-4V-9B 表现出超越 GPT-4-turbo-2024-04-09、Gemini 1.0 Pro、Qwen-VL-Max 和 Claude 3 Opus 的卓越性能。

本文将分享ChatGLM4的微调教程，大家可针对特定任务、适应特定领域和数据集特性进行微调，实现对预训练模型的优化升级，更高效地服务于各类实际应用场景。

二、大模型 ChatGLM4 微调步骤

1. 结束当前运行（按键盘上的 Ctrl + C）

2. 从 github 仓库克隆项目

克隆存储库：

#拉取代码
git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git

出现以上页面即是克隆项目成功！

请注意，如果 git clone https://github.com/hiyouga/LLaMA-Factory.git 这个链接不存在或者无效，git clone 命令将不会成功克隆项目，并且会报错。确保链接是有效的，并且您有足够的权限访问该存储库。

3. 安装模型依赖库

切换到项目目录、激活 ChatGLM4 虚拟环境、安装依赖

#切换到之前创建好的 ChatGLM4 环境
conda activate ChatGLM4

#切换到LLaMA-Factory根目录
cd LLaMA-Factory

#安装项目依赖
pip install -e ".[torch,metrics]"

等待安装完成

4. 启动 webui.py 文件

注意这里需要在 LLaMA-Factory 的根目录启动

# 启动 webui.py 文件
python src/webui.py

需要设置 Gradio 服务器名称和端口

# 设置 Gradio 服务器名称和端口
export GRADIO_SERVER_NAME=0.0.0.0
export GRADIO_SERVER_PORT=8080

# 启动 webui.py 文件
python src/webui.py

启动端口后就可以访问微调页面了页面如下：

5. 微调页面操作步骤

5.1 语言切换

5.2 选择微调模型

5.3 加载本地模型的文件路径

5.4 . 准备数据集

复制以下路径进入算家云文件管理页面，并打开 identity.json 文件

/ChatGLM4/basic_demo/LLaMA-Factory/data/

按照以下数据格式进行数据替换

5.5 选择数据

5.6 开始微调模型

出现以上问题，需要安装 deepspeed 依赖

# 安装 deepspeed 依赖
pip3 install deepspeed

等待安装完成

再次启动 webui.py 文件，开始微调模型

# 启动 webui.py 文件
python src/webui.py

5.7 微调过程展示

web 页面

命令行

5.8 训练完成

5.9 模型验证

选择模型检查点

选择数据集

开始执行验证模型

等待执行完成

5.10 模型加载

加载模型检查点

输入文本，进行对话

5.11 模型合并

加载保存导出模型的文件夹路径

web 完成页面

命令行完成页面

四、大模型 ChatGLM4 微调调用

1. 编辑 web_demo.py 文件

# 切换到项目工作目录
cd /ChatGLM4/basic_demo

# 激活 ChatGLM4 虚拟环境
conda activate ChatGLM4

# 编辑 trans_web_demo.py 文件
vim trans_web_demo.py

找到以上模型路径，替换为刚刚保存的路径

/root/sj-tmp/GLM-4-9B-Chat-0920-2

2. 启动 web_demo.py 文件

# 切换到项目工作目录
cd /ChatGLM4/basic_demo

# 激活 ChatGLM4 虚拟环境
conda activate ChatGLM4

# 运行 trans_web_demo.py 文件
python trans_web_demo.py

3. 访问端口，进行模型测试

测试结果如下：

以上就是ChatGLM的微调教程分享，欢迎大家在评论区交流讨论~