ChatGLM-6B 微调：P-Tuning，LoRA，Full parameter 学习

原创

已于 2024-04-01 10:08:12 修改 · 1.1k 阅读

19 ·

CC 4.0 BY-SA版权

文章标签：

#学习 #语言模型

于 2024-03-31 17:23:14 首次发布

本文介绍了清华大学开源的ChatGLM-6B模型的部署过程，包括Git-lfs安装、环境配置、模型下载（选择int4版本以适应资源限制），以及Fine-tuning中的混合精度和ZeRO-tuning技术。作者还详细记录了遇到的问题及解决方案，如模型精度选择、错误修复等。

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

背景介绍

清华大学团队，开源。
ChatGLM-6B目前在GitHub中star数已超3.8万。
2022年11月的斯坦福全球主流大模型测评中，GLM-130B是亚洲地区唯一入选的，表现不错。
ChatGLM是千亿级别，ChatGLM-6B是60亿参数。
参考视频：官方教程

GLM论文地址

ChatGLM的基础论文《GLM: General Language Model Pretraining with Autoregressive Blank Infifilling》以及《AN OPEN BILINGUAL PRE-TRAINED MODEL》：
题目：《以自回归式空白填充任务预训练的通用语言模型》
论文地址：https://arxiv.org/abs/2103.10360
题目：《一个开放的双语通用预训练模型》
论文地址：https://arxiv.org/abs/2210.02414
这篇博客之前已经有关于GLM论文的阅读：大模型论文阅读系列-GLM: General Language Model Pretraining with Autoregressive Blank Infilling

环境部署与模型下载

第一步就遇到了问题，我本人使用的是服务器，没有sudo权限，安装git-lfs都很费劲。
按照chatgpt的帮助，成功安装了git-lfs：

#先下载压缩包，可能具体代码会有所变化
wget https://github.com/git-lfs/git-lfs/releases/download/v2.14.1/git-lfs-linux-amd64-v2.14.1.tar.gz
#解压文件
tar -zxvf git-lfs-linux-amd64-v2.14.1.tar.gz
#添加环境变量
~/.bashrc
export PATH=/path/to/git-lfs/bin:$PATH
#最后验证安装，能输出版本就成功

最低0.47元/天解锁文章