大模型部署手记（5）ChatGLM2+Jetson AGX Orin

1.简介：

组织机构：智谱/清华

代码仓：https://github.com/THUDM/ChatGLM2-6B

模型：THUDM/chatglm2-6b

下载：https://huggingface.co/THUDM/chatglm2-6b

镜像下载：https://aliendao.cn/models/THUDM/chatglm2-6b

硬件环境：Jetson AGX Orin

2.代码和模型下载

cd /home1/zhanghui

下载代码仓：

git clone https://github.com/THUDM/ChatGLM2-6B

git clone https://huggingface.co/THUDM/chatglm2-6b

查看 https://github.com/git-lfs/git-lfs/blob/main/INSTALLING.md

​貌似是要安装git-lfs

sudo apt-get install git-lfs

重来：

git clone https://huggingface.co/THUDM/chatglm2-6b

GIT_LFS_SKIP_SMUDGE=1 git clone https://huggingface.co/THUDM/chatglm2-6b

看来huggingface.co是怎么都连不上了。

查看镜像站：https://aliendao.cn/models/THUDM/chatglm2-6b

从镜像下载模型的方法如下：

cd /home1/zhanghui/aliendao

python3 model_download.py --mirror --repo_id THUDM/chatglm2-6b

实验表明镜像站下载大的模型文件大概率还是会会出现下载卡住的情形。

还是使用huggingface官网下载到本地的方式吧！

下载完毕后，可将下载好的文件移动到 /home1/zhanghui/ChatGLM2-6B/THUDM/chatglm2-6b 目录下（gitattributes文件可以改名为 .gitattributes)

3.安装依赖

做一个pytorch 2.0，python 3.8的conda环境。

conda create -n torch2.0 python=3.8

conda activate torch2.0

cd /home1/zhanghui

这个是jetson设备，需要安装专门的whl包。

打开https://forums.developer.nvidia.com/t/pytorch-for-jetson-version-1-10-now-available/72048

下载pytorch jetson专用安装包：

cd ..

下载pytorch 2.1版本：

wget https://developer.download.nvidia.cn/compute/redist/jp/v512/pytorch/torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl

下载pytorch 2.0版本：

wget https://nvidia.box.com/shared/static/i8pukc49h3lhak4kkn67tg9j4goqm0m7.whl

mv i8pukc49h3lhak4kkn67tg9j4goqm0m7.whl torch-2.0.0+nv23.05-cp38-cp38-linux_aarch64.whl

安装pytorch 2.1的版本试试：

pip3 install ./torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl

cd ChatGLM2-6B

安装依赖包：

修改requirements.txt文件，注释掉torch

pip3 install -r requirements.txt

4.部署验证

启动基于 Gradio 的网页版 demo

python web_demo.py

浏览器打开 http://192.168.199.181:7860/

在Jetson Orin的桌面上打开试试：

好像可以的。

提个问题试试：

查看GPU运行情况：

换个问题：

（全文完，谢谢阅读）