大模型部署手记(5)ChatGLM2+Jetson AGX Orin

本文详细介绍了如何在智谱/清华的ChatGLM2-6B模型上进行代码和模型下载,包括GitLFS的使用,依赖安装(如PyTorch),以及在JetsonAGXOrin上部署和验证Gradiodemo的过程。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1.简介:

组织机构:智谱/清华

代码仓:https://github.com/THUDM/ChatGLM2-6B

模型:THUDM/chatglm2-6b

下载:https://huggingface.co/THUDM/chatglm2-6b

镜像下载:https://aliendao.cn/models/THUDM/chatglm2-6b

硬件环境:Jetson AGX Orin

2.代码和模型下载

cd /home1/zhanghui

下载代码仓:

git clone https://github.com/THUDM/ChatGLM2-6B

git clone https://huggingface.co/THUDM/chatglm2-6b

查看 https://github.com/git-lfs/git-lfs/blob/main/INSTALLING.md

​貌似是要安装git-lfs

sudo apt-get install git-lfs

重来:

git clone https://huggingface.co/THUDM/chatglm2-6b

GIT_LFS_SKIP_SMUDGE=1 git clone https://huggingface.co/THUDM/chatglm2-6b

看来huggingface.co是怎么都连不上了。

查看镜像站:https://aliendao.cn/models/THUDM/chatglm2-6b

从镜像下载模型的方法如下:

cd /home1/zhanghui/aliendao

python3 model_download.py --mirror --repo_id THUDM/chatglm2-6b

实验表明镜像站下载大的模型文件大概率还是会会出现下载卡住的情形。

还是使用huggingface官网下载到本地的方式吧!

下载完毕后,可将下载好的文件移动到 /home1/zhanghui/ChatGLM2-6B/THUDM/chatglm2-6b 目录下(gitattributes文件可以改名为 .gitattributes)

3.安装依赖

做一个pytorch 2.0,python 3.8的conda环境。

conda create -n torch2.0 python=3.8

conda activate torch2.0

cd /home1/zhanghui

这个是jetson设备,需要安装专门的whl包。

打开https://forums.developer.nvidia.com/t/pytorch-for-jetson-version-1-10-now-available/72048

下载pytorch jetson专用安装包:

cd ..

下载pytorch 2.1版本:

wget https://developer.download.nvidia.cn/compute/redist/jp/v512/pytorch/torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl

下载pytorch 2.0版本:

wget https://nvidia.box.com/shared/static/i8pukc49h3lhak4kkn67tg9j4goqm0m7.whl

mv i8pukc49h3lhak4kkn67tg9j4goqm0m7.whl torch-2.0.0+nv23.05-cp38-cp38-linux_aarch64.whl

安装pytorch 2.1的版本试试:

pip3 install ./torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl

cd ChatGLM2-6B

安装依赖包:

修改requirements.txt文件,注释掉torch

pip3 install -r requirements.txt

4.部署验证

启动基于 Gradio 的网页版 demo

python web_demo.py

浏览器打开 http://192.168.199.181:7860/

在Jetson Orin的桌面上打开试试:

好像可以的。

提个问题试试:

查看GPU运行情况:

换个问题:

(全文完,谢谢阅读)

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

张小白TWO

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值