大模型部署手记（5）ChatGLM2+Jetson AGX Orin

最新推荐文章于 2025-10-13 10:32:57 发布
原创 最新推荐文章于 2025-10-13 10:32:57 发布 · 1k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #chatgpt

本文详细介绍了如何在智谱/清华的ChatGLM2-6B模型上进行代码和模型下载，包括GitLFS的使用，依赖安装（如PyTorch），以及在JetsonAGXOrin上部署和验证Gradiodemo的过程。

1.简介：

组织机构：智谱/清华

代码仓：https://github.com/THUDM/ChatGLM2-6B

模型：THUDM/chatglm2-6b

下载：https://huggingface.co/THUDM/chatglm2-6b

镜像下载：https://aliendao.cn/models/THUDM/chatglm2-6b

硬件环境：Jetson AGX Orin

2.代码和模型下载

cd /home1/zhanghui

下载代码仓：

git clone https://github.com/THUDM/ChatGLM2-6B

git clone https://huggingface.co/THUDM/chatglm2-6b

查看 https://github.com/git-lfs/git-lfs/blob/main/INSTALLING.md

​貌似是要安装git-lfs

sudo apt-get install git-lfs

重来：

git clone https://huggingface.co/THUDM/

最低0.47元/天 解锁文章
在 Jetson 上部署 Qwen2.5：国产轻量大模型的边缘推理全流程实战
努力分享一些人工智能、计算机视觉、影像等相关的知识干货！
04-03 1844
本文系统讲解了如何在 Jetson 边缘设备上部署国产大模型 Qwen2.5，覆盖模型选型、格式转换（GGUF / ONNX / TensorRT）、推理框架接入（llama.cpp × ctransformers）、性能实测（tokens/s × 显存 × 延迟）及 API 封装与 Web UI 构建，完整实现边缘 AI 本地问答助手。从低功耗推理到局域网交互，为你构建稳定可控的轻量大模型系统提供实战参考。
AGX Xavier部署自己修改训练后的yolov4模型(tensorrt加速版)
qq_43631789的博客
04-22 1449
本项目使用的这位大佬的git项目.，过程中遇到很多问题大佬都及时回复了，在此十分感谢大佬相助。以下是对项目的补充说明： 一、项目环境 AGX Xavier 版本Jetpack4.4.1 cuda 10.2.89 cudadnn 8.0.0.180 tensoort 7.1.3.0 opencv 4.4.1 onnx 1.5.0 二、环境配置 1 .安装 yaml-cpp 出现的错误： 解决方法： sudo apt-get install libboost-all-dev sudo apt-get
Jetson orin部署大模型示例教程
梁俊星的博客
11-15 6337
LLM指的是Large Language Model（大型语言模型），是一类基于深度学习的自然语言处理技术，其主要目的是让机器能够更好地理解和生成人类的自然语言文本，如文章、对话、搜索等。
jetson nano 部署 ollama运行大模型
SecularBird的专栏
03-24 2314
Ollama是一个开源的大型语言模型服务,提供了类似OpenAI的API接口和聊天界面,可以非常方便地部署最新版本的GPT模型并通过接口使用。支持热加载模型文件,无需重新启动即可切换不同的模型。该error 可以无视，这个主要是nvidia-smi 命令没有找到， jetson nano下面没有这个指令， 我们下面要使用的也是cpu所以没有什么影响。这里可以使用jtop来查看资源的消耗， 需要提升性能的话，可以使用jetson_clocks进行调整， 需要装风扇， 不然会温度过高。
【玩转yolov5】yolov5s模型转tensorrt后在服务器以及agx xavier上的测评
01-23 1541
略...
在NVIDIA Jetson平台离线部署大模型
dubochao_xinxi的博客
07-11 1302
本项目提供一种将移植到NVIDIA Jetson系列边缘计算卡的方法，并在Jetson计算卡上运行系列大模型，为提供可能。
Jetson AGX Orin 配置LLM Deepseek-R1 7B模型
zengwj2014的博客
03-29 2636
测试环境：硬件 ： AGX ORIN 32G 套件软件： Jetpack6.2 ，R36.4.3按照官方测试数据，AGX ORIN 64套件可以跑70B 模型，为什么测试7B ，测试机器只有32G 内存套件，图方便 直接使用内部64G EMMC 存储，不想麻烦去挂载SSD盘，存储空间大小限制，64G 存储空间刚好只能满足7B模型运行大小。这次采用方式是英伟达官方提供适配测试demo方式，参考链接如下，
大模型部署手记（4）MOSS+Jetson AGX Orin
张小白
10-05 890
大模型部署手记（4）MOSS+Jetson AGX Orin
Jetson AGX Orin手册
04-19
Jetson AGX Orin手册 NVIDIA Jetson AGX Orin是 NVIDIA 推出的最新一代边缘人工智能应用处理器，旨在为机器人和边缘AI应用提供强大的计算能力和高效的能耗管理。本手册概述了Jetson AGX Orin的硬件架构、软件和...
华硕服务器(centos)+jetson agx orin(ubuntu)VNC远程桌面配置
qq_44877514的博客
04-02 551
如果配置的普通用户，则远程连接端和原桌面的显示不一致。若需要与原桌面一致，则需要配置root用户，同时server端也要登陆root用户，在设置中开启屏幕共享，并禁用VNC Server的加密。
人型机器人开发加速器：EC-Engineer Web + Jetson AGX Orin 的远程诊断新玩法
最新发布
MotroEngineer的博客
10-13 915
人型机器人研发中，EtherCAT网络的远程诊断与配置成为关键挑战。acontis推出的EC-EngineerWeb工具通过浏览器实现远程EtherCAT网络管理，支持跨平台访问、实时诊断和智能分析，特别适合移动机器人开发。该工具配合Nvidia Jetson AGX Orin平台，可在无线环境下完成调试，显著提升效率。部署仅需简单安装，支持实时运动控制功能，符合工业通信无线化、远程化趋势，为智能制造提供高效解决方案。
大模型部署手记（7）LLaMA2+Jetson AGX Orin
张小白
10-05 3061
大模型部署手记（7）LLaMA2+Jetson AGX Orin
在Jetson设备部署通义千问1.8B大模型
桑榆肖物
12-13 6115
本文主要介绍了如何在 Jetson 设备上使用纯C/C++实现LLaMA模型的推理，而无需安装Python等其他外部依赖。通过本文你将了解如何借助 llama.cpp 项目在NVIDIA的Jetson系列设备上部署大模型，以及如何使用Qwen-1.8B模型进行通用问答任务。
Jetson Nano 三个版本(B01 4GB、Orin 4GB、Orin 8GB)本地部署Deepseek等大模型的测评
weixin_44119512的博客
03-19 4064
Jetson Nano 是Soc，小白请注意Jetson Nano 的 GPU 并不是独立的，（可不是那种4090迷你版），而是与 CPU 共享同一块内存（即 统一内存架构，Unified Memory Architecture, UMA）。这种设计在嵌入式设备和移动设备中非常常见，目的是为了节省空间、降低功耗和成本。
Jetson 开发系列：如何用GPU跑本地大模型？
u010522887的专栏
10-06 5929
Jetson 上利用 GPU 实现大模型推理加速，并本地部署最强开源模型qwen2.5
我的NVIDIA开发者之旅-Jetson Nano 2gb教你怎么训练模型（完整的模型训练套路）
梁俊星的博客
06-27 2045
我的NVIDIA开发者之旅” | 征文活动进行中.......模型的保存和加载pytorch的安装方法这里就不写了,之前的文章有记录，nvidia官网的资料已经很详细了附上连接（注意你的Jetpack版本就好了，一般玄学的问题都出现在这里）PyTorch for Jetson - version 1.11 now available - Jetson & Embedded Systems / Jetson Nano - NVIDIA Developer Forums 安装pychrom的方法之前的文章也有完
模型部署之NVIDIA AGX Xavier 配置和使用Torch，ONNX，TensorRT做模型推理
Cameron_Rin的博客
12-26 4531
Nvidia AGX Xavier 配置CUDA，PyTorch，ONNX，TensorRT，将深度学习模型部署到小车上，测试三个计算框架的性能
【从踩坑到入门】基于Jetson Nano的深度学习模型部署教程
m0_63642362的博客
02-13 6126
模型部署的思路很简单，但往往会遇到很多坑，本文整理了一些模型部署时经常会遇到的问题及解决方法
无人驾驶汽车系统入门（二）——高级运动模型和扩展卡尔曼滤波
热门推荐
AdamShan的博客
10-17 6万+
前言：上一篇文章的最后我们提到卡尔曼滤波存在着一个非常大的局限性——它仅能对线性的处理模型和测量模型进行精确的估计，在非线性的场景中并不能达到最优的估计效果。所以之前为了保证我们的处理模型是线性的，我们上一节中使用了恒定速度模型，然后将估计目标的加减速用处理噪声来表示，这一模型用来估算行人的状态其实已经足够了，但是在现实的驾驶环境中，我们不仅要估计行人，我们除了估计行人状态以外，我们还需要估计其他
Jetson AGX Orin上YOLOv8与TensorRT部署全流程
本文围绕“Jetson AGX Orin 配置与 YOLOv8 测试”这一主题，深入探讨了从系统环境搭建到模型部署优化的完整流程，涵盖了 PyTorch、CUDA、TensorRT 等关键技术组件，并结合 YOLOv8 目标检测算法实现了高效的端到端...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

张小白TWO

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值