通过ChatGLM的简单例子体验大模型

【图书推荐】《从零开始大模型开发与微调：基于PyTorch与ChatGLM》_《从零开始大模型开发与微调:基于pytorch与chatglm》-优快云博客

ChatGLM基于GLM架构，针对中文问答和对话进行了优化。经过约1TB标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62亿个参数的ChatGLM-6B虽然规模不及千亿模型的ChatGLM-130B，但大大降低了推理成本，提升了效率，并且已经能生成相当符合人类偏好的回答。

正如我们在本书开始的时候演示的，ChatGLM可以很轻松地部署在本地的硬件上，当时采用的是THUDM/chatglm-6b-int4。（使用的时候，需要安装一些特定的Python包，按提示安装即可。）

为了后续的学习和再训练，我们直接使用完整的ChatGLM存档结构，代码如下：

from transformers import AutoTokenizer, AutoModel
names = ["THUDM/chatglm-6b-int4","THUDM/chatglm-6b"]
tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True)
model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).half().cuda()
response, history = model.chat(tokenizer, "你好", hi