基于Nvidia Jetson Nano边缘计算设备使用TensorRT部署YOLOv8模型实现目标检测推理

0、背景

最近拿到一台边缘计算设备，在部署YOLO模型的过程中遇到一些问题，特此记录。

设备介绍信息：NVIDIA Jetson Orin Nano T201Developer Kit 开发套件

开发者套件：Jetson Orin Nano T201 8GB开发套件

使用指南文档：使用指南PDF文档

YOLO模型Ultralytics官网对Nvidia Jetson设备的部署教程：https://docs.ultralytics.com/zh/guides/nvidia-jetson/

如果你的设备型号、Jetpack版本、Pytorch、torchvision和官方提供的指南文档一致，那么恭喜你，可以很方便的将YOLO模型的pt文件转为tensorRT文件直接进行推理，TensorRT转化的模型文件engine可能会比pt模型文件推理速度块快5倍左右。所以模型部署还是要进行tensorRT转化的。下面开始。

1、NVIDIA Jetson 是什么？

NVIDIA Jetson 是一系列嵌入式计算板，旨在为边缘设备带来加速 AI（人工智能）计算。这些小巧且功能强大的设备围绕NVIDIA 的GPU 架构构建，能够直接在设备上运行复杂的人工智能算法和深度学习模型，而无需依赖云计算资源。Jetson 板通常用于机器人、自动驾驶汽车、工业自动化和其他需要在本地以低延迟和高效率执行人工智能推理的应用。此外，这些板卡基于 ARM64 架构，与传统的GPU 计算设备相比，运行功耗更低。

2、查看设备Jetpack版本信息

使用以下命令：

jtop

如果你没有这个命令，请参考前面的设备使用指南PDF文档进行安装。

根据下面提升，按7是打开info信息，在info信息页可以看到当前设备各种组件版本信息。例如我的Jetpack版本是5.1.1，Ultralytics官方给的是6.2的版本安装教程，所以我的不能用，因此花费了好大功夫去安装适配我版本的pytorch等，下面一步步介绍怎么去寻找适合自己版本的安装包。

3、配置Cuda环境变量信息

确保 CUDA 路径已正确配置，在 ~/.bashrc 中添加