本地部署GLM-4-9B清华智谱开源大模型方法和对话效果体验

GLM-4-9B是清华大学和智谱AI推出的最新一代预训练模型GLM-4系列中的开源版本。在语义、数学、推理、代码和知识等多方面的数据集测评中，GLM-4-9B及其人类偏好对齐的版本GLM-4-9B-Chat均表现出较高的性能，其通用能力评测结果甚至超越了Llama-3-8B开源大模型，多模态版本也与GPT-4版本齐平。

除了能进行多轮对话，GLM-4-9B-Chat还具备网页浏览、代码执行、自定义工具调用和长文本推理等高级功能。 GLM-4模型增加了多语言支持，支持包括日语，韩语，德语在内的 26 种语言。GLM-4-9B还推出了支持 1M 上下文长度（约 200 万中文字符）的模型。

根据GLM-4大模型评测结果，在通用能力方面超越Llama3大模型，在多模态能力比肩GPT-4大模型系列版本，评测结果和调用方法详情：https://github.com/THUDM/GLM-4

本文介绍GLM-4大模型部署和使用方法，需要注意的是，GLM-4虽然开源了，但GLM-4大模型的权重的使用则需要遵循协议：https://huggingface.co/THUDM/glm-4-9b/blob/main/LICENSE

第一步：下载模型文件

老牛同学在前面文章中，介绍了通过单一的GGUF文件在本地部署