chatglm4本地部署详解

下载地址

模型下载地址：GitHub - THUDM/GLM-4: GLM-4 series: Open Multilingual Multimodal Chat LMs | 开源多语言多模态对话模型

已经训练好的数据下载地址：

https://huggingface.co/THUDM/glm-4-9b-chat-1m/tree/main

测试主机配置

cpu：E5-2680v4

内存：32G

显卡：Tesla M4 24G

最低硬件要求

如果您希望运行官方提供的最基础代码 (transformers 后端) 您需要：

• Python >= 3.10
• 内存不少于 32 GB

如果您希望运行官方提供的本文件夹的所有代码，您还需要：

• Linux 操作系统 (Debian 系列最佳)
• 大于 8GB 显存的，支持 CUDA 或者 ROCM 并且支持 BF16 推理的 GPU 设备。(FP16 精度无法训练，推理有小概率出现问题)

一、下载

（一）打开模型安装地址，点击下载

（二）打开已经训练好的数据下载地址，依次点击下载。超过1G的，建议使用迅雷云盘。

二、安装依赖

（一）安装步骤

        从官网了解可知composite_demo文件夹是存放更新说明的地方

        composite_demo文件夹中的requirements.txt文件夹，是此版本需要安装的依赖

使用命令：（反复执行，直到安装成功）

为保证减少连接失败造成的安装失败，建议尝试使用科学方法，你懂的

pip install -r requirements.txt<