复现ChatGLM-6B

小白hemu

于 2024-04-06 23:06:25 发布

阅读量214

点赞数

CC 4.0 BY-SA版权

分类专栏： paper 复现文章标签：深度学习

本文链接：https://blog.youkuaiyun.com/github_38060285/article/details/137440521

paper 复现专栏收录该内容

13 篇文章 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

本文档详细介绍了如何复现ChatGLM-6B，一个62亿参数的双语对话语言模型。通过使用模型量化技术，该模型可以在消费级显卡上本地部署。复现过程中需要注意pydantic版本问题，以及如何下载权重并配置项目。此外，还提供了关于在web_demo.py中调整参数以适应不同显存需求的说明，并提到了使用ToolAlpaca进行微调的可能性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。

项目代码https://github.com/THUDM/ChatGLM-6B
权重开放：https://huggingface.co/THUDM/chatglm-6b
在这里插入图片描述
复现过程：

# 新建chatglm环境
conda create -n chatglm 
# 激活chatglm环境
conda activate chatglm
# 安装PyTorch环境，按需求https://pytorch.org/：
这里我是:
python                    3.11.7 
torch                     2.2.1
torchvision               0.17.1  
# 安装gradio用于启动图形化web界面
pip install gradio
# 安装运行依赖
git clone https://github.com/THUDM/ChatGLM-6B.git
pip install -r requirement.txt

报错信息在这里注意一下版本问题，我踩到了pydantic的报错，找了很久，最后发现是版本问题．