在NVIDIA Jetson平台离线部署大模型

在NVIDIA Jetson平台离线部署大模型，开启离线具身智能新纪元。

本项目提供一种将LMDeploy移植到NVIDIA Jetson系列边缘计算卡的方法，并在Jetson计算卡上运行InternLM系列大模型，为离线具身智能提供可能。

最新新闻🎉

• [2024/3/15] 更新了对LMDeploy-v0.2.5。
• [2024/2/26] 本项目被LMDeploy官方社区收录。

已验证模型/平台

• ✅：已验证可运行
• ❌：已验证不可运行
• ⭕️：待验证

Models	InternLM-7B	InternLM-20B	InternLM2-1.8B	InternLM2-7B	InternLM2-20B
Orin AGX(32G) Jetpack 5.1	✅ Mem:??/?? 14.68 token/s	✅ Mem:??/?? 5.82 token/s	✅ Mem:??/?? 56.57 token/s	✅ Mem:??/?? 14.56 token/s	✅ Mem:??/?? 6.16 token/s
Orin NX(16G) Jetpack 5.1	✅ Mem:8.6G/16G 7.39 token/s	✅ Mem:14.7G/16G 3.08 token/s	✅ Mem:5.6G/16G 22.96 token/s	✅ Mem:9.2G/16G 7.48 token/s	✅ Mem:14.8G/16G 3.19 token/s
Xavier NX(8G) Jetpack 5.1	❌	❌