通过简单的代码领略一下ChatGLM3大模型

最新推荐文章于 2025-05-18 21:51:05 发布

原创

最新推荐文章于 2025-05-18 21:51:05 发布 · 398 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#pytorch #人工智能 #深度学习

ChatGLM系列是智谱AI发布的一系列大语言模型，因为其优秀的性能和良好的开源协议，在国产大模型和全球大模型领域都有很高的知名度。其开源的第三代基座大语言模型ChatGLM3-6B，模型的性能较前一代大幅提升，可以认为是最强的中文基础大模型！

本文通过一个简单的代码示例，领略一下ChatGLM3大模型的魅力。我们首先完成CPU版本的ChatGLM3的推演。由于采用CPU进行推演，在自动下载完模型参数后，推演的耗时较长，这一点请读者注意。

在运行本示例代码之前，先安装一下PyTorch框架和魔塔社区（modelscope）的模型库，之后就可以在代码中直接下载和使用完整的ChatGLM3。

pip install torch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2 --index-url https://download.pytorch.org/whl/cpu

pip install modelscope

示例代码如下：

import torch
#安装“魔塔社区（modelscope）”的模型库之后，可以直接下载和使用完整的ChatGLM3
# pip install modelscope

from modelscope import AutoTokenizer, AutoModel, snapshot_download
model_dir = snapshot_download("ZhipuAI/chatglm3-6b", revision = "v1.0.0")
tokenizer = AutoTokenizer.from_pretrained(model_dir, trust