部署清华ChatGLM2-6B模型

原创

已于 2023-07-21 16:06:18 修改

· 置顶 · 1.2k 阅读

6 ·

版权

文章标签：

#python #自然语言处理 #语言模型

于 2023-07-21 15:49:25 首次发布

本文档详细介绍了如何部署清华的ChatGLM2-6B语言模型。首先，通过Python环境的下载与安装开始，接着指导下载模型与代码。在搭建步骤中，包括安装依赖、切换GPU版本的torch，以及处理硬件不支持的情况，提供了CPU执行的解决方案。最后，启动代码并验证部署效果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

文章目录

一、下载并安装python环境
二、下载ChatGLM2-6B的模型及代码（可以git clone命令下载，也可以下载zip包）
三、搭建步骤
- 安装所需依赖
- 切换GPU版本的torch
四、启动代码，查看效果
五、电脑硬件不支持，使用量化模型，CPU执行
- 码字不易，部署成功了，点个赞关注一波！

一、下载并安装python环境

在官网下载python python官网
无脑下一步安装（省略）
输入python 出现下图即表示安装成功

二、下载ChatGLM2-6B的模型及代码（可以git clone命令下载，也可以下载zip包）

网络环境不是太差多刷新几次都能进去，不需要魔法，有的更好

三、搭建步骤

安装所需依赖

1、切换下载源到国内（对网速有信心的这步可以跳过）

pip3 install jieba -i 仓库地址

常用仓库地址
（1）阿里云 http://mirrors.aliyun.com/pypi/simple/
（2）豆瓣 http://pypi.douban.com/simple/
（3）清华大学 https://pypi.tuna.tsinghua.edu.cn/simple/
（4）中国科学技术大学 http://pypi.mirrors.ustc.edu.cn/simple/
（5）华中科技大学 http://pypi.hustunique.com/

2、在克隆下来的代码中安装依赖