ChatGLM-6B-INT4：轻松实现本地部署的对话模型

最新推荐文章于 2024-12-17 12:30:10 发布

程芳亚Marcus

最新推荐文章于 2024-12-17 12:30:10 发布

阅读量691

点赞数 5

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/gitblog_02972/article/details/144421286

ChatGLM-6B-INT4：轻松实现本地部署的对话模型

chatglm-6b-int4 项目地址: https://gitcode.com/hf_mirrors/ai-gitcode/chatglm-6b-int4

在人工智能领域，对话模型的本地部署一直是一个热门话题。本地部署意味着模型可以在没有互联网连接的情况下运行，这对于一些特殊场景，如隐私保护、低延迟等，尤为重要。今天，我们将介绍一个名为ChatGLM-6B-INT4的对话模型，它不仅性能强大，而且能够轻松在本地部署。

安装前准备

系统和硬件要求

ChatGLM-6B-INT4模型对硬件的要求相对较低，可以在消费级的显卡上进行部署。在INT4量化级别下，最低只需6GB显存即可进行推理。此外，该模型也支持在CPU上运行，但需要确保已安装GCC和OpenMP以获得最佳并行计算能力。

必备软件和依赖项

在安装ChatGLM-6B-INT4之前，您需要确保系统已安装以下软件和依赖项：

Python 3.8或更高版本
PyTorch库
Transformers库

您可以通过以下命令安装所需的依赖项：

pip install protobuf transformers==4.27.1 cpm_kernels

安装步骤

下载模型资源

您可以通过访问 https://huggingface.co/THUDM/ChatGLM-6b-int4 获取ChatGLM-6B-INT4模型的资源。您可以下载预训练模型和代码库，并将其放置在合适的位置。

安装过程详解

将下载的模型和代码库放置在合适的位置后，您可以使用以下代码加载模型并进行推理：

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("THUDM/ChatGLM-6b-int4", trust_remote_code=True)
model = AutoModel.from_pretrained("THUDM/ChatGLM-6b-int4", trust_remote_code=True).half().cuda()

response, history = model.chat(tokenizer, "你好", history=[])
print(response)

response, history = model.chat(tokenizer, "晚上睡不着应该怎么办", history=history)
print(response)

常见问题及解决

显存不足：如果您的显卡显存不足，可以考虑使用INT4量化级别的模型，或尝试将模型部署到CPU上运行。
推理速度慢：为了提高推理速度，您可以尝试使用GPU加速或调整模型参数。

基本使用方法

加载模型

加载模型的方法已在上一节中介绍。您可以使用以下代码加载模型：

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("THUDM/ChatGLM-6b-int4", trust_remote_code=True)
model = AutoModel.from_pretrained("THUDM/ChatGLM-6b-int4", trust_remote_code=True).half().cuda()

简单示例演示

以下是一个简单的示例，演示如何使用ChatGLM-6B-INT4模型进行对话：

response, history = model.chat(tokenizer, "你好", history=[])
print(response)

response, history = model.chat(tokenizer, "晚上睡不着应该怎么办", history=history)
print(response)