Jetson AGX Orin 下 YOLOX C++部署

最新推荐文章于 2025-04-14 11:03:05 发布

原创最新推荐文章于 2025-04-14 11:03:05 发布 · 707 阅读

8 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习 #人工智能

本文详细介绍了在Jetpack5.1.2、CUDA11.4、Cudnn8.6.0和TensorRT8.5.2环境下配置YOLOX的训练环境，包括使用conda创建环境，下载权重文件并导出Engine模型。部署过程中涉及修改yolox.cpp和CmakeLists文件，但作者提到Tiny模型识别出现错误，尽管整体过程尚可。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、系统环境：

Jetpack5.1.2、CUDA11.4、Cudnn8.6.0、Tensorrt8.5.2、OpenCV4.5;

2、YOLOX 训练环境配置

conda create -n yolox python==3.8 -y # for Linux
conda activate yolox

按照要求下载指定包，关于Torch等包安装类是博客较程很多。

3、下载权重文件和导出enginen模型

python tools/trt.py -n yolox-s -c path/yolox_s.pth

导出的模型默认放在YOLOX/demo/TensorRT/cpp文件夹中

然后进行部署，需要留意的就是更改yolox.cpp文件，和CmakeLIsts文件

其中yolox.cpp文件主要修改图像的输入大小，tiny、nano改为416*416, S、M 为640*640；

CmakeLIsts文件更改cuda 和cudnn的路径，tensorrt路径注释掉。

# cuda
include_directories(/usr/local/cuda-11.4/include)
link_directories(/usr/local/cuda-11.4/lib64)
# cudnn
include_directories(/usr/local/cuda/include)
link_directories(/usr/lib/aarch64-linux-gnu)

4、编译然后运行

在build文件夹下，运行

./yolox ../model_trt.engine -i ../../../../assets/dog.jpg

/home/nvidia/code/deeplearning/YOLOX/demo/TensorRT/cpp/build/det_res.jpg

我用的为tiny模型，把狗识别为猫了，不知道为什么，不过整体还行。

关注博主即可阅读全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

浪里肥鱼

关注关注

7
点赞
踩
8

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

在NVIDIA Jetson AGX Orin中使用jetson-ffmpeg调用硬件编解码加速处理

cumtchw

08-23

1146

在NVIDIA Jetson AGX Orin中使用jetson-ffmpeg调用硬件编解码加速处理

Jetson AGX Orin 实现相机雷达联合标定

J。

10-29

652

Jetson AGX Orin 实现相机和雷达的联合标定.

参与评论您还未登录，请先登录后发表或查看评论

Jetson AGX Orin配置pytorch+torchvision+tensorrt+pytracking详细流程

m0_51597918的博客

09-04

2473

本文前半部分参考了。

yolox 的C++ 部署解析

如果没有最优解，那就找到可行解

09-05

243

C语言中 int main(int argc,char *argv[])的两个参数详解_Jeff_的博客-优快云博客_int main 参数 int main(int argc,char *argv[])的两个参数详解 argc是命令行总的参数个数； argv[]是argc个参数，其中第0个参数是程序的全名，以后的参数。命令行后面跟的用户输入的参数获取引擎： if (argc == 4 && std::string(argv[2]) == "-i") { con

AGX Orin设计-外围电路设计之一

最新发布

zhiyuchenkeji的博客

04-14

2115

AGX ORIN是英伟达Jetson系列中算力规格最高端的模组，其高达200TOPS/275TOPS的算力可以为各类场景提供澎湃的算力支持，本篇文章针对AGX ORIN的常规外围电路设计做分析描述。

[C++][C#]yolox TensorRT C++ C#部署

FL1623863129的博客

08-26

975

与YOLOV5和YOLOV8相比，YOLOX具有更高的性能和更好的平衡，在速度和精度方面都表现出优越性。与YOLOV8相比，YOLOX的速度更快，精度更高。而YOLOX采用了更简洁的卷积层，使得其速度更快。此外，YOLOX还采用了更先进的网络结构和训练策略，使得其精度更高。与YOLOV5相比，YOLOX的速度更快，精度更高。YOLOV5采用了复杂的结构，导致其速度较慢。此外，YOLOX还采用了更先进的网络结构和训练策略，使得其精度更高。总之，YOLOX是一种高性能的目标检测器，具有更快的速度和更高的精度。

jetson AGX orin 配置pytorch和cuda使用、yolov8 TensorRt测试

热爱生活，忠于自己

01-06

4013

安装 sudo apt-get install libjpeg-dev zlib1g-dev 之后，删除所有缓存和编译零时文件，再重新编译安装即可。由于gpu推理通常需要预热，拷贝图像（bus.jpg）到文件夹重复多张（以10张为例）即可，重新运行，基本推理耗时。默认安装在系统环境中，若在虚拟环境中，可以创建软连接到虚拟环境中。导出默认的fp32模型，耗时11分钟，40qps，加载测试如下。，执行耗时32分钟（模型文件大小缩小一半），95qps，，如下。若均不报错，且能正常输出说明安装成功，如下图。

Nvidia Jetson AGX Orin

我的博客

06-27

1238

Nvidia Jetson AGX Orin

JETSON AGX ORIN配置yolov8运行环境

m0_73100347的博客

01-31

1321

torch版本选择由JetPack版本决定，JetPack 是 NVIDIA 为 Jetson 系列嵌入式计算平台提供的软件开发套件（SDK），输入以下两个命令均可以查看JetPack版本，我的是5.1.2官网不同JetPack版本对应的torch下载链接，我的JetPack版本是5.1.2，所以点击v512即可下载对应pytorch版本。

7 : Jetson AGX Orin 编译安装Eigen-3.3.7

亦已焉哉

04-17

387

Jetson编译安装Eigen-3.3.7

【自动驾驶机器人停车系统】基于C++的软硬件集成：Jetson AGX Orin平台下的多模态感知与路径规划系统开发描述了基于自动驾驶

04-03

④掌握基于Jetson AGX Orin平台的高性能计算和深度学习模型部署方法。阅读建议：由于该系统涉及多个学科领域的知识和技术，建议读者先熟悉相关背景知识，特别是机器人操作系统（ROS）、计算机视觉、嵌入式系统开发...

YoloX从训练到OpenVino-C++部署

YANJINING

09-27

1723

YoloX-从训练到Openvino部署端侧推理Intel CPU openvino与python下推理性能对比端侧推理Intel CPU openvino与python下推理性能对比

Jetson Orin平台搭建部署yolov5（一）

weixin_44095109的博客

03-25

2654

3.首先安装了Jetpack的os中都会在/etc/apt/sourch.list.d/中带有nvidia-l4t-apt-source.list文件，里面包含了需要安装基础环境的源路径，不用在单独去下载cuda，cudnn，tensorRT安装包，而且单独下载经过测试存在兼容性问题。cp yolov5/models/yolov5s.yaml yolov5/models/custom.yaml //拷贝标准网络结构，来设置自定义的网络结构。

使用Jetson AGX Orin进行口罩识别

张小白

10-10

556

在https://gitee.com/gpus/maskDetection_jetson代码仓有个口罩识别的案例，我们来看看能不能在Jetson AGX Orin上搞定。先将该代码仓fork到自己的代码仓（以便魔改）回到自己的代码仓：根据README.md来操作吧！首先需要下载darknet框架并安装，但是众所周知，github不是很友好。所以还是把https://github.com/AlexeyAB/darknet通过gitee来过渡：https://...

Jetson AGX Orin 配置LLM Deepseek-R1 7B模型

zengwj2014的博客

03-29

2025

测试环境：硬件： AGX ORIN 32G 套件软件： Jetpack6.2 ，R36.4.3按照官方测试数据，AGX ORIN 64套件可以跑70B 模型，为什么测试7B ，测试机器只有32G 内存套件，图方便直接使用内部64G EMMC 存储，不想麻烦去挂载SSD盘，存储空间大小限制，64G 存储空间刚好只能满足7B模型运行大小。这次采用方式是英伟达官方提供适配测试demo方式，参考链接如下，

Jetson AGX ORIN 初始化&&配置Anaconda&&带CUDA的OpenCV

weixin_52303102的博客

03-22

1742

进行下载（是的，没看错，一个都不行），均显示无法找到对应的包，因此这个方式直接放弃，不过有人如果有需要自己编译的，可以自行在网站下载这些依赖包的源代码，进行编译之后再重新编译。因为是已经编译好的文件，所以直接拿来用就行，具体怎么用呢，就是直接把文件复制到对应的目录就行（基本上大部分的。我是参考一开始的安装连接，安装的。怎么说呢，添加源这个东西可能有帮助，但是感觉帮助不会很大，不一定有用。，将下载的shell文件拷贝至home文件夹，打开终端，输入。确定安装，然后确认安装的路径，一般直接回车安装在默认的。

jetson AGX Orin配置虚拟环境anaconda，cuda，pytorch，torchvision后续制作可视化界面pyqt5，pyside6

qq_50771284的博客

04-16

1998

一行一行执行下面代码（注意：第四行是关机，然后重新打开，需要重新进入虚拟环境（我不知道什么时候要进什么时候不要进，索性后面全部命令都在虚拟环境里面执行！这里的python版本跟jetson自带的不冲突，（最好用3.8的版本，别问为什么），接着打开这个虚拟环境，前面括号里的内容会变成自己命名的内容。因为我的cuda是11.4，对应pytorch1.12.0，对应后面的torchvision0.13.0，其他对应版本自己去查。，（注意：jetson系列只能下红框里的，aarch64架构的！

Jetson AGX Orin安装Anaconda，Cuda，Cudnn，pytorch，Tensorrt，ROS

qq_46107892的博客

02-04

1942

Jetson AGX Orin安装Anaconda，Cuda，Cudnn，pytorch，Tensorrt

Jetson AGX Orin 连接自定义硬件设备（pinmux + 设备树）

Pandako's Blog

07-07

9157

在Jetson AGX Orin上接入一块自定义的数据采集板，使用SPI通信接收到数据。我现在有的设备是一台Jetson AGX Orin 和一块采集板，采集板通过Orin的40 pin接口接入。总体来说，主要分为三个步骤：我在安装和配置的过程中，遇到了各种问题，Orin的资料和文档也比较少，以此记录一下=v=引脚复用（Pin Multiplexing），根据Orin的 40 pin GPIO expansion header，为需要的pin打开SPI功能。比如我用的是SPI1，那就需要打开19、21、23

Jetson AGX Orin部署yolo7tesnorRT

03-21

### 在 Jetson AGX Orin 上使用 TensorRT 部署 YOLOv7 要在 Jetson AGX Orin 上通过 TensorRT 部署 YOLOv7，可以按照以下方式实现： #### 1. 环境准备确保已经安装了适用于 Jetson AGX Orin 的必要软件包和库。这包括但不限于 PyTorch 和 torchvision 的正确版本配置[^3]。如果尚未完成此操作，则可以通过 Conda 创建一个新的虚拟环境并克隆已有的 Torch 环境来简化设置过程。 ```bash conda create --name yolov7_tensorrt --clone torch3.8 ``` 接着激活新创建的环境，并验证其是否正常工作。 #### 2. 安装 TensorRT 及相关依赖项为了支持 TensorRT 加速推理功能，在目标设备上需先安装最新版 TensorRT SDK。可以从 NVIDIA 开发者网站获取适合 Jetpack 版本对应的 TensorRT 软件包。此外还需确认 CUDA 工具链以及 cuDNN 库均已就绪[^2]。 #### 3. 修改 `requirements.txt` 文件进入 YOLOv7 源码目录后编辑 `requirements.txt` ，加入对 ONNX 导出器的支持以及其他可能需要用到的 Python 扩展模块。例如添加如下几行内容到文件末尾: ```plaintext onnx==1.10.2 onnx-simplifier>=0.3.6,<0.4 tensorrt>=8.0.0,<9.0.0 ``` 保存更改后的清单文档以便后续 pip 自动解析这些新增需求。 #### 4. 将模型转换成 ONNX 格式利用官方脚本或者自定义逻辑把训练好的权重参数导出为通用中间表示形式——ONNX Model。通常情况下执行命令类似于这样子的形式： ```python import torch from models.experimental import attempt_load device = 'cuda' if torch.cuda.is_available() else 'cpu' model = attempt_load('weights/best.pt', map_location=device) # 加载预训练模型 dummy_input = torch.randn(1, 3, 640, 640).to(device) torch.onnx.export( model, dummy_input, "yolov7.onnx", opset_version=11, do_constant_folding=True, input_names=['input'], output_names=['output'] ) print("Exported to ONNX successfully!") ``` 上述代码片段展示了如何基于原始框架实例化网络结构并将之序列化至磁盘作为 `.onnx` 文件存储下来[^1]。 #### 5. 构建 TRT Engine 最后一步就是借助 TensorRT API 来加载先前生成的那个静态图描述符进而编译成为高效的运行时引擎对象供实际预测调用。这里推荐参考开源项目 **TensorRT-Alpha** 提供的一系列示范程序学习具体实践细节: ```cpp #include <NvInfer.h> // ... other includes ... int main(int argc, char *argv[]) { // Initialize logger and builder objects. nvinfer1::ILogger gLogger; auto builder = nvinfer1::createInferBuilder(gLogger); // Set max workspace size (e.g., 1GB). const uint64_t MAX_WORKSPACE_SIZE = 1 << 30; IBuilderConfig* config = builder->createBuilderConfig(); config->setMaxWorkspaceSize(MAX_WORKSPACE_SIZE); // Load the ONNX file into memory... std::ifstream onnxFile("yolov7.onnx", std::ios::binary); assert(onnxFile.good()); std::vector<char> buffer((std::istreambuf_iterator<char>(onnxFile)), std::istreambuf_iterator<char>()); // Build engine from parsed network definition. IParseNetworkDefinition parseNetDef(buffer.data(), buffer.size()); ICudaEngine* engine = builder->buildCudaEngine(parseNetDef.get()); // Serialize & save serialized engine data for future reuse without recompilation. void* ptr; size_t sz = engine->serialize(&ptr); ofstream outFile("yolov7.trt"); outFile.write(reinterpret_cast<const char*>(ptr), sz); } ``` 以上 C++ 示例说明了怎样读取之前产生的 ONNX 描述并通过 TensorRT Builder 接口构建最终可部署的目标产物即所谓的 “TRT Engine”。 ---