在Jetson Nano上编译onnxruntime

最新推荐文章于 2025-11-16 19:05:50 发布

原创

最新推荐文章于 2025-11-16 19:05:50 发布 · 4.8k 阅读

25 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习 #onnxruntime #Jetson Nano

本文介绍了如何在Jetson Nano上从源码编译Onnxruntime，并针对多核支持和TensorRT集成进行详细步骤，包括依赖安装、CMake配置和编译过程。重点在于解决初学者在官方文档中遇到的混乱，以及如何合理搭配Provider以优化性能。

更新:

1)因为MS把onnxruntime从github迁移到一个独立的网址了，所以下面的一些链接都指向不对了，需要到ONNX Runtime (ORT) - onnxruntime里去找对应的内容，可能是MS自己都对自己的文档组织太乱看不下去了，迁移到独立网址后重新整理了一下，比原来有条理了，但是对于初学者可能还是感到发懵 :)

2)对于python版的onnxruntime，Links for onnxruntime 这里有whl安装文件下载。

因为做模型精度损失的对比需要，上个月用过了MS家的onnxruntime (GitHub - microsoft/onnxruntime: ONNX Runtime: cross-platform, high performance ML inferencing and training accelerator)，一如MS的产品风格，要求不高的小项目用还凑合，不要指望有多高的性能能用在大规模项目上，不过它有个好处就是支持了多种OS和CPU，支持多种语言，常用的python和C/C++版都能很快用起来，用来在多个不同硬件平台上做

最低0.47元/天解锁文章

20 条评论

李辅乐 2023.08.21
博主。编译.build.sh出现 ./build.sh: line 22: 10927 Illegal instruction (core dumped) python3 $DIR/tools/ci_build/build.py --build_dir $DIR/build/$DIR_OS "$@" 这是什么问题啊
- Isshang~回复李辅乐 2023.12.08
  大佬，你成功了吗？成功的话，能不能帮忙发一下预编译版本？弄了好几天了还没成功，2472460688@qq.com、万分感谢啊
- Arnold-FY-Chen回复李辅乐 2023.08.22
  错误信息太少不知道什么原因啊

Arnold-FY-Chen 2023.02.24
tools/ci_build/build.py : parser.add_argument( "--parallel", nargs="?", const="0", default="1", type=int, help="Use parallel build. The optional value specifies the maximum number of parallel jobs. " "If the optional value is 0 or unspecified, it is interpreted as the number of CPUs.", )

Arnold-FY-Chen 2023.02.24
你编译时使用的命令行里加上 --parallel 1 试试，不加这个参数的话，编译脚本会默认使用Jetson上全部的可用CPU核，看你的报错里有j6，应该是用了6核，Jetson上编译如果程序没问题环境也没问题，编译还是出错，改成单核编译也许就过了

阿伯刺的鹅佛鸽 2023.02.24
subprocess.CalledProcessError: Command '['/usr/local/bin/cmake', '--build', '/onnxruntime/build/Linux/Release', '--config', 'Release', '--', '-j6']' returned non-zero exit status 2. ，我在jetson上编译报这个错，我看onnxruntime的issues里面好多都是这个问题，都没给出解决办法

阿伯刺的鹅佛鸽 2023.02.22
博主，照着你这个步骤能编译好jetson上用的trt的onnxruntime后端吗
- Isshang~回复阿伯刺的鹅佛鸽 2023.12.08
  大佬，你成功了吗？成功的话，能不能帮忙发一下预编译版本？弄了好几天了还没成功，2472460688@qq.com、万分感谢啊。或者有偿交流一下
- Arnold-FY-Chen回复阿伯刺的鹅佛鸽 2023.02.23
  可以呀，编译命令里面有 --use_tensorrt 这个选项呀

cogzyither 2022.03.18
博主您好，有没有不用gitclone的方法，我这边github不稳定，下载的过程中总是中断
- 北极星~回复cogzyither 2022.04.07
  直接用gitee 可以直接从gitee clone
- Arnold-FY-Chen回复cogzyither 2022.03.19
  你只用Python调用的话用它这安装包应该是没问题的，这安装包为是Jetson上使用的编译的
- cogzyither回复Arnold-FY-Chen 2022.03.19
  谢谢大佬，在苦苦尝试解决中断问题的时候，偶然间发现一个网站可以直接下载onnxruntime的包，https://elinux.org/Jetson_Zoo#ONNX_Runtime ，不知道好不好用，可以装上
- Arnold-FY-Chen回复cogzyither 2022.03.18
  直接下载zip包解开后可能里面没有引用的子目录中的第三方工具代码，需要自己去手工单独下载
- cogzyither回复Arnold-FY-Chen 2022.03.18
  git clone --recursive https://github.com/Microsoft/onnxruntime git submodule update --init --recursive --progress 我把onnxruntime-1.60.zip下载下来了，直接下载zip文件不会中断，但下载之后就不知道该怎么弄
- Arnold-FY-Chen回复cogzyither 2022.03.18
  网络不快的话直接用http方式进行clone很多文件是容易失败，你可以试试改成ssh方式, 怎么配置参见我的另一篇博文： https://blog.youkuaiyun.com/XCCCCZ/article/details/107738100?spm=1001.2014.3001.5501

超爱吃小蛋糕的66 2021.10.31
应该是版本不一致了，之前试了1.9和1.8.1两个版本的，都编译失败了[face]emoji:010.png[/face][face]emoji:010.png[/face]谢谢博主，我看看自己jetpack版本，找一下对应的onnxruntime版本

超爱吃小蛋糕的66 2021.10.29
博主您好，我根据您的方法操作，在最后一步编译时报错“ error: ‘class nvinfer1::INetworkDefinition’ has no member named ‘getErrorRecorder’ mUserErrorRecorder = mNetwork->getErrorRecorder();”请问您有遇到过吗？如果方便的话能否将您编译后生成的相关库文件给我发一下，邮箱是“1308685811@qq.com”,万分感谢
- Arnold-FY-Chen回复超爱吃小蛋糕的66 2021.10.30
  我当时的工作环境做完那个demo项目后就没了，因为后来新项目需要卡烧写新版的Jetpack
- Arnold-FY-Chen回复超爱吃小蛋糕的66 2021.10.30
  看你的错误感觉应该是源码要求的TensorRT的版本和你环境中的TensorRT版本不一致，你是不是下载的最新版的源码编译的？这个不能随便使用最新的代码，需要看你的部署环境的CUDA和TensorRT来选择对应的版本的源码来编译，具体的onnxruntime的版本和所需要的TensorRT和CUDA版本，看这里https://onnxruntime.ai/docs/execution-providers/TensorRT-ExecutionProvider.html的requirements，我编译时好像是使用的1.5版的，所以nano上的JetPack4.5.1以下使用的TensorRT7.1和CUDA10.2的环境下是可以编译的，不建议使用超过1.6版的onnxruntime代码，因为NVIDIA的最新的JetPack4.6也只包含了TensorRT8和CUDA10.2，没有CUDA11，所以在JetPack4.6下编译onnxruntime1.9版代码的话，应该只能编译支持provider是TensorRT的，不能编译支持provider是CUDA的