【Jetson Orin NX边缘设备上部署YOLOV8】——基础环境配置P1

Jetson Orin NX上YOLOv12部署避坑指南:从环境配置到成功运行的全流程 本文提供了在NVIDIA Jetson Orin NX平台上部署YOLOv12模型的完整避坑指南。详细解析了从JetPack系统准备、ARM架构下PyTorch与torchvision的正确安装,到项目依赖配置、模型推理测试,以及利用TensorRT进行性能优化的全流程。重点解决了版本兼容性、依赖编译等核心难题,旨在帮助开发者高效完成边缘AI部署。 阅读详情

前 言

1. Miniconda安装及虚拟环境创建

1.1 下载Miniconda 安装包

 1.2 执行安装脚本

1.3 创建适配 Jetson 的 Python 环境

 1.4 安装 Jetson 专用扩展包

1.5 . 配置 CUDA 兼容性(关键步骤)

2. Pytorch环境搭建

2.1 安装依赖

2.2 安装Pytorch

2.2.1 离线安装

2.2.2 在线安装

2.3 验证安装

3. Torchvision环境搭建

3.1 安装依赖

3.2 安装Torchvision

3.3 验证安装

4. TensorFlow环境搭建

4.1 安装TensorFlow

4.1.1 离线安装(推荐)

 4.1.2 在线安装

 4.1.3 安装Numpy

4.2 验证安装


前 言

Jetson Orin NX 是专为边缘计算设计的高性能设备,其核心优势包括:

  1. 超强算力与能效平衡:搭载 NVIDIA Ampere 架构 GPU(含 1024 个 CUDA 核心和 128 个 Tensor Core)及专用深度学习加速器(DLA),AI 性能达 100 TOPS,支持 Super 模式提升算力至 2 倍,同时功耗仅 10-25 瓦,适合嵌入式场景。
  2. 多传感器融合能力:支持 16 路 GMSL 相机输入、激光雷达、毫米波雷达等多源数据同步处理,通过 μs 级硬件时间戳对齐实现精准环境感知。
  3. 完善软件生态:依托 JetPack SDK 提供 TensorRT、CUDA 等工具链,可快速将 YOLO 等 AI 模型优化为 TensorRT 引擎,显著降低推理延迟。
  4. 灵活扩展性:配备 PCIe Gen4、USB 3.2、M.2 等高速接口,支持多摄像头并行接入与复杂传感器配置,适用于智能安防、工业质检等多样化场景。

将 YOLO 算法部署于 Orin NX 的核心原因:

  • 实时性保障:YOLO 轻量级架构结合 Orin NX 的硬件加速(如 TensorRT 优化),可实现毫秒级目标检测。例如,YOLOv8 在 Orin NX 上通过 INT8 量化后推理时间缩短至 20ms 以内,满足交通监控、无人机巡检等场景的实时需求。
  • 边缘计算优势:本地化处理避免云端依赖,降低网络带宽消耗(如多路 4K 视频流无需上传),同时保护数据隐私。
  • 硬件协同优化:Orin NX 的 GPU 和 DLA 专为 AI 推理设计,可并行处理多帧图像。例如,Super 模式下 YOLOv8 的帧率提升 1.5-2 倍,显著增强复杂场景下的检测效率。
  • 多场景适配:支持多传感器融合(如 LiDAR + 摄像头)和动态模型更新,适用于智能物流、机器人导航等需实时环境感知与决策的领域。

部署的环境配置都有哪些?

  • JetPack SDK 安装:

一般买的Jetson Orin NX边缘计算设备上,都已经刷入了最新 JetPack(如 JetPack 5.1.2),包含 CUDA 11.4、cuDNN 8.6、TensorRT 8.5 、Python3.8 等依赖,这些一般不需要自己安装。

  • 基础插件安装:

主要包括:TensorFlow、Pytorch、TorchVision、ZED2相机软件、Ultralyrtics(YOLOV8)。


系 统 信 息

lsb_release -a  # 输出系统版本(如Ubuntu 20.04.6 LTS):cite[3]:cite[8]

sudo apt-cache show nvidia-jetpack  # 查看JetPack版本(如5.1.3):cite[3]:cite[8]
dpkg -l | grep -E "cuda|tensorrt|opencv"  # 检查关键组件(CUDA/TensorRT等)
nvcc --version  # 输出CUDA版本(如11.4.315):cite[3]

sudo jetson_stats  # 安装后运行jtop,可视化查看CPU/GPU/内存占用:cite[3]
jtop  # 可视化查看CPU/GPU/内存占用:cite[3]

比如我的系统信息如下:JetPack=5.1.3 [L4T 35.5.0]、Ubuntu=20.04.6LTS、Python=3.8.20、CUDA=11.4  V11.4.315。

如上述版本无误,但在查询组件时遇见如下报错:

nvcc --version -bash: nvcc: command not found
sudo jetson_stats: command not found
jtop: command not found
# (1)nvcc不可用

# 原因:CUDA 工具链未安装或未正确配置 PATH。
# 解决方案:安装完整 CUDA 工具包:
sudo apt install cuda-toolkit-11-4  # JetPack 5.1 默认对应 CUDA 11.4

# 添加 PATH 到环境变量(安装后执行):
echo 'export PATH=/usr/local/cuda/bin:$PATH' >> ~/.bashrc
source ~/.bashrc


# (2)jtop 和 jetson_stats 不可用

# 原因:未安装 Jetson 状态监控工具。
# 解决方案:通过 pip 安装 jetson-stats:

sudo pip3 install jetson-stats
# 安装后重启系统,运行 jtop 即可监控设备状态。

1. Miniconda安装及虚拟环境创建

在 NVIDIA Jetson 设备上(ARM64 架构)安装 Miniconda 已适配 JetPack 5.1.5 和 Ubuntu 20.04 环境:

1.1 下载Miniconda 安装包

Jetson 设备必须使用 aarch64 (ARM64) 版本,x86_64 版本不兼容

wget https://repo.anaconda.com/miniconda/Miniconda3-py38_23.5.2-0-Linux-aarch64.sh

 将下载的文件移至路径(后面的几个文件操作类似,不再赘述):/home/nvidia/

 1.2 执行安装脚本

bash Miniconda3-py38_23.5.2-0-Linux-aarch64.sh

1.3 创建适配 Jetson 的 Python 环境

conda create -n py38-env python=3.8 -y
conda activate jetson-env

 1.4 安装 Jetson 专用扩展包

pip install --pre --extra-index-url https://developer.download.nvidia.com/compute/redist/jp/v51 \
  nvidia-cuda-runtime-cu11 \
  nvidia-cudnn \
  nvidia-tensorrt

1.5 . 配置 CUDA 兼容性(关键步骤)

echo -e "\n# Jetson CUDA Path" >> ~/.bashrc
echo "export LD_LIBRARY_PATH=/usr/local/cuda-11.4/lib64:\$LD_LIBRARY_PATH" >> ~/.bashrc
source ~/.bashrc

2. Pytorch环境搭建

PyTorch 是一个由 Meta(原 Facebook)开发的开源深度学习框架,以灵活性和易用性著称,广泛用于学术研究和工业应用。参考链接:

https://forums.developer.nvidia.com/t/pytorch-for-jetson/72048

Installing PyTorch for Jetson Platform - NVIDIA Docs

2.1 安装依赖

wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/arm64/cuda-keyring_1.1-1_all.deb  # 1. 下载CUDA存储库密钥环包(适用于Ubuntu 22.04)
sudo dpkg -i cuda-keyring_1.1-1_all.deb# 2. 安装CUDA GPG密钥
sudo apt update  # 3. 更新软件包列表
sudo apt -y install libcusparselt0 libcusparselt-dev -y  # 4. 安装稀疏矩阵计算库

sudo apt remove python3-sympy   # 5. 移除Python符号计算库

2.2 安装Pytorch

PyTorch的安装选择离线和在线的其中一种方式即可!

2.2.1 离线安装

手动进入下载网址下载指定的PyTorch版本。

下载网址:https://forums.developer.nvidia.com/t/pytorch-for-jetson/72048

​

cd Downloads/  #绝对下载路径
pip3 install torch-2.0.0+nv23.05-cp38-cp38-linux_aarch64.whl

2.2.2 在线安装

export TORCH_INSTALL=https://developer.download.nvidia.cn/compute/redist/jp/v61/pytorch/torch-2.0.0+nv23.05-cp38-cp38-linux_aarch64.whl

sudo python3 -m pip install --no-cache $TORCH_INSTALL

2.3 验证安装

python3 -c "import torch; print(f'Torch: {torch.__version__}')"
# 正常输出版本号:Torch: 2.0.0+nv23.05

3. Torchvision环境搭建

参 考 链 接 :

【问题解决】Jetson nano 安装torchvision-0.15.1_jetson torchvision-优快云博客

https://github.com/pytorch/vision

Quick Start Guide: NVIDIA Jetson with Ultralytics YOLO11

3.1 安装依赖

sudo apt update
sudo apt install ninja-build libwebp-dev libjpeg-dev -y

3.2 安装Torchvision

根据PyTorch与Torchvision版本对应关系,我们需要安装v0.15版本Torchvision。

​

#安装依赖
sudo apt-get install libjpeg-dev zlib1g-dev libpython3-dev libopenblas-dev libavcodec-dev libavformat-dev libswscale-dev

pip3 install setuptools

#克隆torchvision源代码
git clone --branch v0.15.1 https://gitclone.com/github.com/pytorch/vision torchvision 
cd torchvision/
#编译
export BUILD_VERSION=0.15.1
python3 setup.py install

3.3 验证安装

python3 -c "import torchvision; print(f'Torchvision: {torchvision.__version__}')"

4. TensorFlow环境搭建

TensorFlow 是一个由 Google 开发并开源的端到端机器学习和深度学习框架,用于构建和训练各种类型的机器学习模型。参 考 链 接 :

Installing TensorFlow for Jetson Platform - NVIDIA Docs

4.1 安装TensorFlow

TensorFlow的安装选择离线和在线的其中一种方式即可!

4.1.1 离线安装(推荐)

手动进入下载网址下载指定的TensorFlow版本。

下载网址:https://developer.download.nvidia.cn/compute/redist/jp/v502/tensorflow/tensorflow-2.10.1+nv22.12-cp38-cp38-linux_aarch64.whl

cd Downloads/  #绝对下载路径
pip3 install tensorflow-2.10.1+nv22.12-cp38-cp38-linux_aarch64.whl

 4.1.2 在线安装

export TORCH_INSTALL=https://developer.download.nvidia.cn/compute/redist/jp/v502/tensorflow/tensorflow-2.10.1+nv22.12-cp38-cp38-linux_aarch64.whl

sudo python3 -m pip install --no-cache $TORCH_INSTALL

 4.1.3 安装Numpy

安装指定版本的Numpy:后期的YOLO8也需要该版本的Numpy

sudo pip install numpy==1.23.5

4.2 验证安装

python3 -c "import tensorflow as tf; print(f'TensorFlow: {tf.__version__}')"
# 输出 TensorFlow: 2.10.1
Jetson Orin NX实战:从零部署YOLOv5的完整环境配置指南 本文详细介绍了在Jetson Orin NX上从零部署YOLOv5的完整环境配置指南,包括系统环境准备、深度学习环境搭建、YOLOv5环境配置及性能优化技巧。通过TensorRT加速和模型量化,显著提升目标检测性能,适用于智能摄像头、工业质检等边缘计算场景。 阅读详情

相关推荐

Jetson Orin NX + YOLOv8 TensorRT 加速量化实战:从环境搭建到模型部署

本文详细介绍了在Jetson Orin NX开发板上部署YOLOv8模型,并利用TensorRT进行加速和INT8量化的完整实战流程。内容涵盖从系统环境配置、核心依赖安装、模型转换到TensorRT引擎构建与量化优化的每一步,旨在帮助开发者在边缘计算设备上实现高性能、低延迟的目标检测应用。

g9h0i1的博客 644

【Jetson Orin NX边缘设备上部署YOLOV8】——基础环境配置P2

完成上述步骤后,你就能正常采用训练好的程序,实时检测相机获取到的图像信息。为加快识别进度,需要进一步将best.pt文件转为中间格式的.ONNX或.engine,可提升3-5倍运行速度。下载后,将ZIP文件存放在/home/Jeston/目录下。的对应关系,如果在前面步骤中系统已经自动安装了。ZED SDK 安装完成后,

LSS_LSS的博客 1349

手把手教你在Jetson Orin NX上使用ONNX加速YOLOv8推理

本文详细解析了如何在Jetson Orin NX上通过ONNX Runtime部署和加速YOLOv8推理。内容涵盖从PyTorch环境精准配置、模型转换为ONNX格式,到利用ONNX Runtime进行高性能推理及量化优化的完整实战流程,旨在帮助开发者在边缘设备上实现稳定高效的AI模型部署。

weixin_28292761的博客 378

Jetson orin nx配置realsense,YOLOv5环境

jetson orin nx配置yolo环境

qq_41031072的博客 791

Jetson Orin NX上YOLOv12环境配置避坑指南(附JetPack版本匹配技巧)

本文详细介绍了在Jetson Orin NX平台上配置YOLOv12环境的避坑指南,包括JetPack版本匹配、PyTorch安装、依赖项管理及性能优化技巧。特别针对ARM架构的特殊性,提供了从系统准备到TensorRT加速的完整解决方案,帮助开发者高效部署边缘AI应用。

weixin_30879169的博客 495

Jetson Orin NX上YOLOv12部署避坑指南:从conda环境配置到torch版本选择

本文详细介绍了在Jetson Orin NX上部署YOLOv12的完整流程,重点解决conda环境配置、PyTorch版本选择及依赖冲突等常见问题。通过JetPack版本矩阵解析和TensorRT加速配置,提供高效的边缘计算解决方案,帮助开发者规避部署过程中的关键陷阱。

weixin_33670786的博客 363

YOLOv9轻量版部署:yolov9-s.pt在Jetson设备上的表现

本文介绍了基于星图GPU平台自动化部署YOLOv9官方版训练与推理镜像的完整流程,该镜像专为NVIDIA Jetson设备优化,支持开箱即用的目标检测任务。用户可在边缘端高效实现模型微调与AI应用开发,典型应用于工业质检、无人机避障等实时场景,兼顾精度与速度。

weixin_42573757的博客 1073

Jetson Orin NX上YOLOv8从安装到推理:避坑指南与性能优化

本文详细介绍了在NVIDIA Jetson Orin NX平台上部署YOLOv8模型的完整流程与优化策略。内容涵盖从JetPack环境配置、PyTorch与Torchvision版本匹配安装,到YOLOv8生态的集成,并重点解析了利用TensorRT和ONNX Runtime进行性能优化的核心方法,旨在帮助开发者避开常见陷阱,实现高效的边缘AI推理。

weixin_29159711的博客 174

Jetson Orin NX平台YOLO推理加速实战指南

深度学习推理加速是边缘计算的核心技术挑战,其核心原理是通过模型压缩、硬件加速和计算优化来提升推理效率。TensorRT作为NVIDIA推出的高性能推理优化器,通过层融合、精度校准和内核自动调优等技术,能显著提升模型在边缘设备上的运行速度。在Jetson Orin NX这样的边缘AI平台上,结合YOLO这类实时目标检测算法,可以广泛应用于智能监控、自动驾驶和工业质检等场景。本文以YOLOv5在Jetson Orin NX上的部署为例,详细介绍了从PyTorch模型到TensorRT引擎的完整优化流程,包括ON

weixin_29045585的博客 216

Jetson Orin NX上从零部署YOLOv5的完整避坑指南(含Torch版本选择)

本文提供了在Jetson Orin NX上从零部署YOLOv5的完整指南,重点解决Torch版本选择与依赖项管理的常见问题。通过详细的系统配置、PyTorch安装步骤和性能优化建议,帮助开发者避开部署陷阱,实现高效的目标检测模型运行。

weixin_28224217的博客 276

手把手教你用YOLOv8在Jetson Orin NX上实现实时目标检测(附PyTorch和Torchvision配置秘籍)

本文提供了一份详尽的实践指南,手把手教你如何在Jetson Orin NX嵌入式平台上部署YOLOv8模型以实现实时目标检测。内容涵盖从系统环境确认、PyTorch与Torchvision的精准版本安装、YOLOv8环境搭建,到性能分析与优化,并详细介绍了如何将模型导出为ONNX格式以进一步提升推理效率,帮助开发者避开常见陷阱,充分发挥边缘设备的AI算力。

weixin_29189003的博客 265

Jetson Orin NX边缘AI部署全栈指南:刷机、环境、模型推理实战

边缘AI推理是将深度学习模型从云端下沉至终端设备的关键技术,其核心在于硬件适配性、底层驱动稳定性与模型优化能力的协同。Jetson Orin NX凭借32 TOPS INT8算力和ARM+NVIDIA GPU异构架构,成为工业检测、智能视觉等场景的主流边缘AI平台。但实际落地常受困于刷机失败、CUDA/cuDNN版本冲突、TensorRT引擎编译异常等系统级问题。本文围绕Orin NX的可信启动链构建、JetPack与Ubuntu内核绑定关系、PyTorch官方wheel兼容性方案,以及YOLOv8模型从O

weixin_29171129的博客 228

保姆级教程:在Jetson Orin上部署YOLOv8+DeepOCSort多目标跟踪(附常见报错解决)

本文详细介绍了在NVIDIA Jetson Orin边缘计算设备上部署YOLOv8+DeepOCSort多目标跟踪系统的全流程。从环境配置、模型优化到算法集成,提供了针对Orin平台的专项调优技巧和常见报错解决方案,帮助开发者实现高效的实时目标跟踪。特别适合智能交通、机器人视觉等嵌入式AI应用场景。

weixin_30500105的博客 678

从零到一:YOLOv8模型在Jetson设备上的高效部署与性能调优全攻略

本文详细介绍了YOLOv8模型在Jetson设备上的高效部署与性能调优全流程,包括环境配置、模型导出与格式转换、TensorRT引擎生成与优化、部署与推理优化技巧等关键步骤。通过实战性能调优和常见问题解决方案,帮助开发者快速掌握在边缘计算设备上实现高效目标检测的技术要点。

k5l6m的博客 490

Jetson Orin NX 16G:边缘AI部署的工程黄金标准

边缘AI推理是指在靠近数据源头的终端设备上完成模型运行,其核心挑战在于算力、功耗、内存与实时性的协同优化。NVIDIA Jetson Orin NX 16G凭借100TOPS INT8算力、16GB LPDDR5统一内存和GPU/DLA/PVA三域异构架构,在6–15W动态功耗下实现高能效比与低延迟稳定输出。它并非单纯提升参数,而是通过JetPack SDK深度整合软硬件栈,支撑YOLOv8、Qwen-1.8B、AirSLAM等主流模型的端到端商用部署。典型应用场景涵盖工业质检、农业无人机、车载环视与巡检机

weixin_33755557的博客 408

Jetson Orin Nano边缘AI部署实战:TensorRT加速YOLOv8与轻量LLM集成

边缘AI部署的核心挑战在于如何在资源受限的设备上高效运行复杂的深度学习模型。其基本原理是通过模型压缩、推理优化和硬件加速,在保证精度的前提下提升运行速度并降低功耗。技术价值在于将AI能力从云端下沉到终端,实现低延迟、高隐私的实时智能决策。应用场景广泛覆盖机器人、自动驾驶、智能安防和工业质检等领域。本文以NVIDIA Jetson Orin Nano为硬件平台,深入探讨了如何利用TensorRT对YOLOv8视觉模型进行FP16/INT8量化加速,并结合TensorRT-LLM部署轻量级大语言模型Phi-2,

cuiji1279的博客 344

Jetson开发板全攻略:从选型到部署的避坑指南

边缘计算作为连接云端智能与终端设备的关键技术,其核心在于将AI推理能力部署在资源受限的边缘侧。NVIDIA Jetson系列开发板凭借其集成GPU、CUDA和专用AI加速器,成为实现这一目标的理想硬件平台。其技术价值在于提供了从几TOPS到上千TOPS的算力阶梯,使得开发者能在功耗、成本与性能间取得平衡,广泛应用于机器人、智能摄像头和自动驾驶等实时性要求高的场景。本文聚焦于Jetson产品线的选型决策与系统配置,针对常见的**TensorRT**部署优化与**模型推理**性能瓶颈,提供了从硬件匹配到软件环境

weixin_34014555的博客 364

工业缺陷检测模型轻量化部署:TensorRT 加速 YOLOv8-seg, Jetson Orin 实测 60 FPS

本文详细介绍了如何通过TensorRT加速YOLOv8-seg模型,在Jetson Orin平台上实现工业缺陷检测的轻量化部署,达到60 FPS的实时推理性能。文章涵盖了模型架构解析、TensorRT优化关键技术、Jetson Orin平台部署实战以及工业场景性能优化技巧,为智能制造领域的工程师提供了实用的解决方案。

weixin_26808205的博客 324
上一篇: Jupyterlab解压Rar文件和Zip文件
下一篇: 【Jetson Orin NX边缘设备上部署YOLOV8】——基础环境配置P2
浪浪山山主
博客等级 码龄10年 975粉丝 13原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值