大模型部署手记（4）MOSS+Jetson AGX Orin

1.简介

组织机构：复旦大学

代码仓：GitHub - OpenLMLab/MOSS: An open-source tool-augmented conversational language model from Fudan University

模型：fnlp/moss-moon-003-sft-int4

下载：https://huggingface.co/fnlp/moss-moon-003-sft-int4

硬件环境：Jetson AGX Orin

根据：

所以显然只能选择int4量化了。

2.代码和模型下载

登录Orin：

cd /home1/zhanghui

git clone https://github.com/OpenLMLab/MOSS.git

量化int4的模型地址：https://huggingface.co/fnlp/moss-moon-003-sft-int4

打开链接下载：