模型训练系列：1、用清华ChatGLM-6B模型部署自己的本地AI助手

原创

已于 2023-05-12 10:46:32 修改 · 3.7k 阅读

17 ·

CC 4.0 BY-SA版权

文章标签：

#人工智能 #ChatGLM #LLM #语言模型 #ai

于 2023-05-12 10:45:24 首次发布

本文介绍了如何使用GPU服务器，如腾讯云或阿里云的资源，来搭建ChatGLM-6B语言模型。通过更新Ubuntu软件源，安装必要的工具和库，如Pytorch、GitLFS、NVIDIACUDAToolkit，以及配置和运行Streamlit应用，读者可以实现自己的Web版聊天程序。

最近清华大学开源的ChatGLM-6B语言模型在国际上大出风头，仅仅62亿参数的小模型，能力却很强。很期待他们后续1300亿参数模型130B的发布。

为什么一些能力较弱的小模型，这么受追捧？因为ChatGPT、GPT-4虽好，毕竟被国外封锁，而且还要付费，更重要的是，LLM要在各行业提高生产力，很多企业接下来肯定是要自己部署语言模型的，毕竟谁也不敢泄漏自己商业数据给别人的AI去训练，为他人做嫁衣，最后砸了自己的饭碗。

这里根据我的实操经验，分享一下如何自己搭建一个语言模型服务器。最后效果如下：

首先需要搞一台GPU较强的机器，推荐先租一台腾讯云、阿里云等AI训练的机器，T4显卡就行，一般价格是按量付费几毛钱一个小时。我是抢到了腾讯云秒杀活动的主机，60块钱半个月，白菜价。土豪可以自己去装机长期玩。

能干这个活的都是码农吧，那就不废话了，直接上sh命令（：

#我的主机环境是	Ubuntu Server 18.04 LTS 64位，预装了	
# Pytorch 1.9.1 Ubuntu 18.04 GPU基础镜像（预装460驱动）
#以下命令从 /root 目录位置开始进行操作的

#更新Ubuntu软件源
apt-get update
#创建目录用于存放ChatGLM源代码
mkdir ChatGLM
cd ChatGLM/
#克隆ChatGLM-6B程序源代码
git clone https://github.com/THUDM/ChatGLM-6B.git
#创建目录用于存放ChatGLM6B-int4量化模型
mkdir model
cd model/
#安装git-lfs便于文件管理
apt install git-lfs
#当前目录初始化为git仓库、安装lfs
git