ChatGLM2-6b本地部署

最新推荐文章于 2025-04-26 14:26:28 发布

晚点吧

最新推荐文章于 2025-04-26 14:26:28 发布

阅读量2.1k

点赞数

分类专栏： NLP 文章标签：大模型 chatGLM chatgpt

本文链接：https://blog.youkuaiyun.com/weixin_42529756/article/details/131619719

版权

NLP 专栏收录该内容

5 篇文章

订阅专栏

ChatGLM-6B是基于GLM架构的开源对话模型，支持中英文，拥有62亿参数。用户可通过HuggingFace或百度网盘下载模型，使用transformers进行加载和运行。对于GPU内存有限的用户，模型可进行量化处理以适应资源。提供了多种使用方式，包括直接运行、web演示和streamlit应用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

chatglm2-6m模型
git 地址 https://github.com/THUDM/ChatGLM2-6B
模型百度网盘地址：链接：https://pan.baidu.com/s/1-LFcPB0H23RSpTKOECsjxw?pwd=5e3d
提取码：5e3d

1 模型简介

ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。

chatglm对显存的要求最低为6GB
显存要求

2 模型使用

2.1 预训练准备：

模型加载：使用transformers 自动加载模型，网速限制，加载比较慢
本地下载模型，① Hugging Face Hub 网址：https://huggingface.co/THUDM/chatglm2-6b/tree/main
② 清华镜像源下载模型：地址：https://cloud.tsinghua.edu.cn/d/674208019e314311ab5c/
③ 本人百度网盘整理：链接：https://pan.baidu.com/s/16VwlyCrLlpbEsNP0oPh2xg?pwd=0982
提取码：0982

2.2 代码下载及环境安装

1 代码下载
① 使用git ： git clone https://github.com/THUDM/ChatGLM2-6B
②直接下载压缩包，在上面网址直接download zip
2 环境安装
① 安装conda虚拟环境（可选项）conda create -n chatglm python=3.7
② 安装依赖包，进入ChatGLM2-6B目录，pip install -r requirements.txt

2.3 模型使用

模型加载
根据自己的显卡内存，修改模型加载项，如下，由于我的电脑是12G显存，使用原始的模型，内存不够，因此添加了.quantize(8)
model_path，为上面下载的预训练好的模型（可以使用百度网盘分享的）

model_path=r"E:\download\chatglm2-6b"
model = AutoModel.from_pretrained(model_path, trust_remote_code=True).quantize(8).cuda()

模型运行
方式一：自建测试文件

from transformers import AutoTokenizer, AutoModel

# model_path=r"E:\download\chatglm2-6b-int4"
model_path=r"E:\download\chatglm2-6b"

tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
# model = AutoModel.from_pretrained(model_path, trust_remote_code=True, device='cuda')
# 按需修改，目前只支持 4/8 bit 量化
model = AutoModel.from_pretrained(model_path, trust_remote_code=True).quantize(8).cuda()
# model = AutoModel.from_pretrained(model_path,trust_remote_code=True).cuda()
model = model.eval()
response, history = model.chat(tokenizer, "你好", history=[])
print(response)

response, history = model.chat(tokenizer, "晚上睡不着应该怎么办", history=history)
print(response)

方式二：
使用web_demo.py
直接运行即可
方式三：使用streamlit
需要先找到streamlit所在文件，再执行以下命令

D:\pythonapp\anacondas\envs\chatglm\Scripts\streamlit  run web_demo2.py

3 模型效果：

在这里插入图片描述
鸡兔同笼问题