NANO上利用 tensorRT的trt-yolo 进行视频检测

最新推荐文章于 2025-03-18 23:19:33 发布
最新推荐文章于 2025-03-18 23:19:33 发布
阅读量9.5k 收藏 40
点赞数 6
分类专栏： 安装教程 文章标签： nano nvidia 使用教程
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/BlackLion_zhou/article/details/90049351
版权
本文介绍了如何在NANO设备上利用TensorRT的TRT-YOLO进行视频检测，通过加速实现高效运行。文章详细讲述了如何修改TRT-YOLO代码以读取和显示视频，以及在nano上使用TensorRT的重要性，提供了相关资源链接和代码修改步骤。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

写在前面

1、tensorRT是NVIDIA 的高性能的推断C++库，可以用于深度学习加速。
nano上如果不使用tensorRT加速，则：
yolo v3 速度<1fps
yolov3 tiny 速度<8fps
所以必须使用tensorRT加速。毕竟官网上说可以25fps。
2、tensorRT的支持 caffe 、tensorflow、和ONNX，如果不是以上模式，需要转换成ONNX模式。
3、NANO的技术网站
https://devtalk.nvidia.com/default/topic/1050377/jetson-nano/deep-learning-inference-benchmarking-instructions/
中提供 了darknet的 trt-yolo 和deepstream-yolo 。
在这里插入图片描述

  • trt-yolo 可以利用了tensorRT加速，可以测试图片。
  • deepstream-yolo被设计为可以利用deepstream进行多视频输入测试，但是deepstream现在还不能在nano上使用，所以相当于目前没用。
使用 trt-yolo

最低0.47元/天 解锁文章
YOLOv5~TRT~JetsonNX部署
whaosoft143ai的博客
06-09 746
whaosoft对ResNet常见的两种网络结构ResNet18和ResNet50分别进行了测试，实验结果如图1所示，加速版本与未加速版本所使用的设置均一致，测量的指标为query per second(qps)，batchsize均为1,加速比约为6.02。目前模型部署框架则有NVIDIA推出的TensorRT，谷歌的Tensorflow和用于ARM平台的tflite，开源的caffe，百度的飞桨等。可以将原模型导出为onnx格式，其中model是我们要进行导出的模型文件，f为导出的onnx模型文件。
yolov4_trt_ros:使用TensorRT引擎的YOLOv4对象检测器
05-17
带有TensorRT引擎的YOLOv4 该软件包包含yolov4_trt_node，可使用NVIDIA的TensorRT引擎执行推理 该软件包适用于YOLOv3和YOLOv4。 根据所使用的YOLO模型，相应地更改命令。 搭建环境 安装依赖项 当前环境： 杰特逊Xavier AGX ROS旋律 Ubuntu 18.04 Jetpack 4.4 TensorRT 7+ 依存关系： OpenCV 3.x版 numpy的1.15.1 Protobuf 3.8.0 皮丘达2019.1.2 onnx 1.4.1（取决于Protobuf） 使用以下命令安装所有依赖项 Install pycuda (takes awhile) $ cd ${HOME}/catkin_ws/src/yolov4_trt_ros/dependencies $ ./install_pycuda.sh In
tensorrt视频
weixin_38378417的博客
05-06 493
https://yq.aliyun.com/video/play/1381?spm=a2c4e.11153940.blogcont580307.10.6759466bEPYffY&do=login&accounttraceid=114b5be5-7027-4e37-b78c-792bcf3cfdcf
基于Nvidia Jetson Nano边缘计算设备使用TensorRT部署YOLOv8模型实现目标检测推理
最新发布
Java开发，人工智能，边缘计算，致力于掌握前沿技术
03-18 1658
最近拿到一台边缘计算设备，在部署YOLO模型的过程中遇到一些问题，特此记录。
Jetson nano TensorRT环境搭建（jetson-inference）
wyk71456的博客
09-30 8984
TensorRT： 使用TensorRT Jetson Nano的官方文档中给我们推荐了二个例子，其中一个使用Tensor RT做物品识别的例子。具体的可以参考英伟达jetson-inference例子。跑通这个例子需要的模型就大概1G以上，所以这个例子的大部分并没有放到SD卡上（SD卡上只有运行这个模型所需要的TensorRT）。悲剧的是存放这些模型的服务器被墙了，所以只能将之前下载好的包远程传输到对应的下载目录下。 首先如果您没有安装git和cmake，先安装它们 sudo apt-get instal
YOLO~TRT-windows部署
whaosoft143ai的博客
02-01 350
这里是Windows 上基于 TensorRT 的 YOLO部署, 我并不用win啊 就是留下万一呢 部署环境和相关依赖包 Cuda 11.0.2 Cudnn 8.0.4.30 TensorRT 8.4.0.6 OpenCV 4.1.1 VS2019 项目所需的安装包均放到到如下百度云链接： 链接：https://pan.baidu.com/s/1C4jYSKAN2P_GSpFiikhY_g 提取码：71ou 部署流程 第whaosoft aiot http://143ai.com
Jetson Nano 部署(3)：TensorRT介绍
@bangbang的博客
08-18 3717
TensorRT是一种高性能的神经网络推理优化器和运行时推理引擎，应用于项目落地部署。首先需要有训练好的模型，然后经过TensorRT优化器的优化处理，利用TensorRT Runtime Engine进行落地部署。TensorRT是用于优化训练后的深度学习模型，以实现高性能推理的SDKTensorRT包含用于训练后的深度学习模型的深度学习推理优化器，以及用于执行的runtme优点： TensorRT能够以更高的吞吐量和更低的延迟运行深度学习模型，用TensorRT可以加速模型的推理。...
Jetson Nano 部署(4) : Tensorrt Nano硬件搭建
@bangbang的博客
08-18 1436
① 用于主存储器的microSD卡插槽② 40 针扩展接头③ 用于5V电源输入或设备模式的Micro-USB接口④ 千兆以太网接口⑤ USB 3.0插槽，有4个⑥ HDMI输出端口，如果加一个HDMI转VGA连接线的话，就可以连接VGA的显示器⑦ Display Port接口⑧ 用于5V电源输入的直流桶式插座⑨ MIPI CSI-2摄像头接口，如果使用USB摄像头的话，就可以插在⑤中USB的插槽上。Nano结构顾从前视图(Front View)可以看出，...
yolov4_trt
qq_43631789的博客
09-29 697
环境： tensorRT5.1.6-1 xavier cuda10 python2.7 tensorRT简介及原理: tensorRT是由Nvidia推出的一款GPU推理引擎（GIE: GPU Inference Engine）。由于训练好的神经网络权重已经确定，后续使用中无需后向传播以及高精度计算，因此在模型的部署过程中可以通过使用低精度如FP16（16位的float型）来对前向传播过程进行加速推断。Tensorrt正是利用此类原理来优化 GPU 资源使用的深度学习推理计算框架，其工作主要分为两个阶段
TRT-YOLO视频流水线: 基于TensorRT的多路多卡并行视频分析处理框架
Nifc666的博客
09-07 1022
为了解决这个问题,GitHub用户1461521844lijin开发了一个名为trt_yolo_video_pipeline的开源项目,该项目提供了一个基于TensorRT和YOLO系列模型的高性能视频分析处理框架。这段代码创建了一个使用YOLOv8模型的视频分析pipeline,支持在两张GPU上各运行两个推理实例,实现了视频输入、目标检测和结果输出的完整流程。通过这些优化,trt_yolo_video_pipeline能够在保证检测精度的同时,实现高吞吐、低延迟的实时视频分析。
trt-yolov3:Jetson Nano上的yolov3-tiny识别（已完结）
qq_36780295的博客
09-09 5716
trt-yolov3:Jetson Nano的图像和视频流的识别github项目 github项目 首先将trt-yolov3的github项目下载下来，地址为：https://github.com/yqlbu/TRT-yolov3 项目环境要求： 在我多次的系统重装测试后，发现只有jetpack4.3版本是可用的。 首先只有cuda10.0才能运行 ...
YOLO之trt推理+Diou/iou目标跟踪以及计数【附代码】
z240626191s的博客
02-21 1605
利用iou进行跟踪是比较简单的，也是目标检测中最为常用的手段，但与目标检测还是不一样，在目标检测的iou过滤中【指预测部分】，是将大于阈值的目标过滤掉，保留小于阈值的，在训练阶段是将target box与output的box iou大的保留下来表示正样本的匹配。当判断大于iou阈值的时候会将信息记录在reg_dict中，并设置is_track为True.如果是新目标的时候，target_index + 1.代码中的输入。项目的更新，在trt推理，多进程语音报警的功能中又新添加了目标跟踪【可用于目标计数】
探索高效能：TRTForYolov3 项目深度解析
gitblog_00432的博客
08-18 411
探索高效能：TRTForYolov3 项目深度解析 TensorRT-Yolov3TensorRT for Yolov3项目地址:https://gitcode.com/gh_mirrors/te/TensorRT-Yolov3 在人工智能和机器学习的浪潮中，目标检测技术一直是研究和应用的热点。今天，我们将深入探讨一个高效、灵活的目标检测项目——TRTForYolov3，这是一个基于Tensor...
YOLOX目标检测实战：TensorRT加速部署
08-13
YOLOX是旷视科技新近推出的高性能实时目标检测网络，性能超越了YOLOv3/YOLOv4 /YOLOv5。 TensorRT是针对英伟达GPU的加速工具。本课程在Ubuntu系统上详细演示使用TensorRT对YOLOX进行加速和部署。特别是讲述了针对自己数据集上训练出的YOLOX的TensorRT加速部署方法。
windows上配置TensorRT yolov5 -6.0部署 tensorrtx视频流推理
weixin_46596757的博客
04-05 8553
前言 opencv dnn部署yolov5成功后，终究还是得对TensorRT下手。没办法，它的诱惑太大了，是英伟达为自家GPU出的推理引擎，论在英伟达产品上的推理速度，他说第一，应该没人说第二。不过我也没试过，之前用tensorrtx跑起来过一次，只是推理图片，没有视频来做比较。此次部署准备对比一下，顺便深入了解一下tensorrt（或者tensorrtx）。 前置环境 opencv安装（opencv_contrib版）：博客地址 cuda，VS安......
yolo的tensorrt加速，转化的trt/engine模型文件的加载和推理
liuyang_xyz的博客
04-11 1406
可以看出输入一个(1, 3, 480, 640)，输出不止一个(1, 18900, 6)需要进行修改，不废话了，给出正确代码。也就是给另外的三个输出分配存储空间。且输出打印出来全为0。
yolov8 trt 转换测试
极乐净土
05-18 756
yolov8 trt tensorrt Yolov8 TensorRT
部署记录 win10 trt yolov4-tiny
highoooo的博客
09-22 1149
v4-tiny win部署
C/C++ TensorRT引擎多线程推理多个rtsp流并显示或保存
highoooo的博客
11-24 5125
文章目录主要思路一、超参数和常量二、简易的WrapData类三、opencv获取rtsp流四、.engine 推理部分五、主函数流程 主要思路 每个thread负责一个rtsp流，主线程里定义WrapData类型的消息队列（目的是包含frame和对应的rtsp信息），传到每个线程里面去通过opencv获取frame，将frame和rtsp信息包装到WrapData后push到队列中，主函数中捕捉到队列长度大于1则进行.front()推理并在推理结束后.pop() 一、超参数和常量 #define NMS_
jetson nano yolo tensorrt
01-03
### 如何在 Jetson Nano 上用 TensorRT 优化 YOLO 模型部署 #### 准备工作 为了成功地在Jetson Nano上使用TensorRT优化YOLO模型，需先准备好必要的开发环境。这包括安装适用于Jetson Nano的操作系统以及设置用于转换和运行模型所需的软件包。 #### 训练自定义YOLOv5模型 可以在主机上训练自己的YOLOv5模型，并将其保存以便后续转换为适合Jetson Nano使用的格式[^1]。此阶段涉及数据集准备、调整超参数直至获得满意的性能指标为止。 #### 将PyTorch模型转化为ONNX格式 完成训练之后，下一步就是把由PyTorch框架构建出来的YOLOv5网络结构及其权重信息导出成通用中间表示形式——即ONNX文件。这一操作可以通过调用`torch.onnx.export()`函数实现： ```python import torch from models.experimental import attempt_load model = attempt_load('path/to/best.pt', map_location=torch.device('cpu')) # 加载.pth或.pt模型 dummy_input = torch.randn(1, 3, imgsz, imgsz).to(torch.device('cpu')) input_names = ["image"] output_names = ['output'] dynamic_axes = {'image': {0: 'batch_size'},'output': {0: 'batch_size'}} torch.onnx.export(model, dummy_input, "best.onnx", input_names=input_names, output_names=output_names, dynamic_axes=dynamic_axes, opset_version=12) ``` #### ONNX至TensorRT的转换 有了上述生成好的`.onnx`文件后，在Jetson Nano设备上通过命令行工具`trtexec`可以方便快捷地把它编译成为专有的TensorRT引擎文件（通常以`.engine`结尾），从而充分利用GPU硬件特性提升推理速度[^2]。 ```bash sudo /usr/src/tensorrt/bin/trtexec --onnx=/home/user/best.onnx --saveEngine=/home/user/best.engine ``` #### 编写Python脚本集成CSI摄像头与TensorRT推断流程 最后一步则是编写一段能够读取来自CSI接口连接之相机图像流的同时调用之前创建完毕的TensorRT引擎来进行目标识别任务的小程序。这里给出一个简单的例子作为参考[^3]: ```python import cv2 import numpy as np import tensorrt as trt import pycuda.driver as cuda import pycamera.array as carray def load_engine(trt_runtime, engine_path): with open(engine_path, 'rb') as f: engine_data = f.read() engine = trt_runtime.deserialize_cuda_engine(engine_data) return engine TRT_LOGGER = trt.Logger() runtime = trt.Runtime(TRT_LOGGER) with load_engine(runtime, "/home/user/best.engine") as engine: context = engine.create_execution_context() cap = cv2.VideoCapture(gstreamer_pipeline(), cv2.CAP_GSTREAMER) while True: ret_val, frame = cap.read() if not ret_val: break # Preprocess image here... inputs, outputs, bindings, stream = allocate_buffers(engine) do_inference(context, bindings=bindings, inputs=[frame], outputs=outputs, stream=stream) detections = post_processing(outputs) draw_boxes(frame, detections) cv2.imshow("CSI Camera", frame) keyCode = cv2.waitKey(30) & 0xFF if keyCode == ord('q'): break cap.release() cv2.destroyAllWindows() ```
评论 21
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值