ChatGLM模型（服务器部署+微调）

微凉￥￥

已于 2023-05-23 17:06:51 修改

阅读量4k

点赞数 7

文章标签：服务器经验分享

于 2023-05-23 13:05:10 首次发布

本文链接：https://blog.youkuaiyun.com/weixin_44354947/article/details/130823471

版权

该文详细介绍了如何在Linux系统（Ubuntu）上部署ChatGLM-6B模型，包括使用Anaconda创建环境、安装依赖、模型微调、数据集处理、推理过程以及解决遇到的错误。作者提供了微调脚本`train.sh`和推理脚本`evaluate.sh`的使用方法，并展示了如何利用微调后的模型进行对话验证。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

ChatGLM官方源码github地址
模型huggface地址

1.部署

1.1 部署前要先安装anaconda，我是在ubuntu上安装的，具体可参考这篇博客。
1.2 下面就开始ChatGLM-6B的正式部署了。

# 下载模型代码
git clone https://github.com/THUDM/ChatGLM-6B
# 切换到项目文件夹下
cd ChatGLM-6B
# 新建chatglm环境
conda create -n chatglm python==3.8
# 激活chatglm环境
conda activate chatglm
# 安装运行依赖
pip install -r requirement.txt
#命令行 Demo
python3 cli_demo.py

2.微调

# 除 ChatGLM-6B 的依赖之外，还需要安装以下依赖，在上面创建的chatglm环境下安装
!pip install rouge_chinese nltk jieba datasets -i https://mirror.sjtu.edu.cn/pypi/web/simple
# 切换到ChatGLM-6B 的ptuning文件夹下
cd /ChatGLM-6B/ptuning

数据集下载，这里给出官方提供的数据集，从 Google Drive 或者 Tsinghua Cloud 下载处理好的 ADGEN 数据集，将解压后的 AdvertiseGen 目录放到本目录（ptuning)下。

# 执行train脚本开始微调
bash train.sh

这里我出现了如此下错误：
在这里插入图片描述
解决方案为，在main.py文件中添加这两行：

def main():

    parser = HfArgumentParser

最低0.47元/天解锁文章