yolov4在nano上用tensorrt加速

原创 已于 2022-05-10 11:44:18 修改 · 732 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #人工智能

于 2022-05-09 14:37:38 首次发布
本文介绍了如何在Jetson Nano上利用TensorRT加速YOLOv4-tiny模型。通过下载相关工具和参考教程，完成模型转换、安装依赖、解决nvcc路径问题，最终将YOLOv4-tiny模型转换为ONNX并生成优化的TensorRT引擎，以实现高效实时的物体检测。在转换过程中可能遇到内存不足的问题，可以尝试增加系统的交换文件来解决。

（1）工具的地址

GitHub - jkjung-avt/tensorrt_demos: TensorRT MODNet, YOLOv4, YOLOv3, SSD, MTCNN, and GoogLeNet

 （2）另外重要参考地址

(1)

Jetson Nano使用Tensorrt加速Yolo V4-tiny进行实时检测_/*wywy*/的博客-优快云博客_jetson nano tensorrt

(2)

Jetson AGX Xavier 实现TensorRT加速YOLOv4_围白的尾巴的博客-优快云博客_agx xavier 深度学习

(3) 

YOLOv4-tiny转tensorrt_CLK688的博客-优快云博客_yolov4转tensorrt

1、操作流程

(1)下载demo

git clone https://github.com/jkjung-avt/tensorrt_demos.git

（2）安装pycuda 和onnx

  1. Install "pycuda".

  2. 将install_pycuda.sh设置为linux格式

  3. cd ${HOME}/project/tensorrt_demos/yolo
vim install_pycuda.sh
最低0.47元/天 解锁文章
YOLOv8在NX上的tensorrt的加速部署（60帧率）
m0_49586319的博客
01-17 1897
YOLOv8利用Tensorrt在Jetson NX上进行部署，帧率为60
jetson nano的yolov8的tensorrt加速部署
m0_49586319的博客
11-17 2263
yolov8在jetson nano平台的tensorrt部署，帧率到19帧。
YOLOv4-Deepstream:使用Deepstream通过TensorRT和多流输入加速YOLOv4
04-16
Deepstream 5.1 YOLOv4应用 该Deepstream应用程序展示了以高FPS吞吐量运行的YOLOv4！ PS-单击gif观看整个视频！ 指数 深度流设置 这篇文章假设您拥有功能齐全的Jetson设备。 如果没有，您可以在参考文档。 1.安装系统依赖项 sudo apt install \ libssl1.0.0 \ libgstreamer1.0-0 \ gstreamer1.0-tools \ gstreamer1.0-plugins-good \ gstreamer1.0-plugins-bad \ gstreamer1.0-plugins-ugly \ gstreamer1.0-libav \ libgstrtspserver-1.0-0 \ libjansson4=2.11-1 2.安装Deepstream 从此处将DeepStream 5.1 Jetson
yolov4模型经tensorrt加速
weixin_44533869的博客
08-11 1404
1.下载必要的脚本 git clone https://github.com/wang-xinyu/tensorrtx.git git clone -b archive https://github.com/ultralytics/yolov3.git 将以上两个脚本放置同一目录下； 或者采用笔者上传整理好的脚本文件 链接地址： 2.配置环境 下载pytorch离线安装包，放置pkg目录下。 torch-1.6.0-cp36-cp36m-linux_aarch64.whl 下载torchvision源码库
使用TensorRT提高GPU上的YOLOv4对象检测速度
源代码杀手的博客
05-24 1802
YOLOv4较旧版本YOLOv4的改进，并且我们已经知道现在它比以前更好。也许使用YOLOv3的每个人都将迁移到YOLOv4，因为它是我们可以用于实时应用程序的最快的对象检测模型之一。但是在本教程中，我想向您展示，如何使用TensorRT将对象检测的速度提高三倍！在本教程中，我将不介绍如何安装TensorRT。 TensorFlow是当今最受欢迎的深度学习框架之一，在全球拥有成千上万的用户。TensorRT是一个深度学习平台，可通过简单的方式优化神经网络模型并加快GPU推理的性能。TensorFlow团队与
YoloV4模型解析及TensorRT加速
跟随技术的脚步-linolzhang的专栏
05-02 9100
一. Yolo演化史 Faster RCNN诞生以后，目标检测准确度得到保证，但是two-stage的方式存在天然的效率缺陷，SSD和Yolo填补了这一空白，Yolo一共经历了4个版本。 模型 数据增强/训练 Backbone 网络特征层 性能对比 备注 Yolo v1 Lenet -maxPooling 每个点支持2个box ...
Jetson NX 使用Tensorrt加速yolov4/yolov4-tiny模型
qq_45006143的博客
07-14 3395
Jetson NX 使用Tensorrt加速yolov4/yolov4-tiny模型 这里默认你已经获得了你自己训练好的yolo模型，博主这里常用的是darknet框架训练yolo模型，下面会以yolov4和yolov4-tiny举例。 #下载、安装环境 git clone https://github.com/jkjung-avt/tensorrt_demos.git 下载完文件后定位到ssd文件执行 install_pycuda.sh cd ${HOME}/project/tensorrt_demo
在NVIDIA Jetson Nano上部署YOLOv5算法，并使用TensorRT和DeepStream进行加速
qq_18677445的博客
05-22 2045
部署YOLOv5算法在NVIDIA Jetson Nano上并使用TensorRT和DeepStream进行加速涉及几个关键步骤。
精选资源
jetson nano csi摄像头 tensorrt 运行yolov8检测 项目代码
05-27
在本项目中，我们主要关注的是利用Jetson Nano开发板，通过CSI接口连接的摄像头，以及TensorRT优化的Yolov8模型进行目标检测。这是一个典型的嵌入式计算机视觉应用，涉及到了硬件平台、图像输入、深度学习模型优化...
YOLOV4
qq_1191265562的博客
06-04 428
这篇文章写的真的太好了！https://zhuanlan.zhihu.com/p/143747206
yolov4_trt_ros:使用TensorRT引擎的YOLOv4对象检测器
05-17
带有TensorRT引擎的YOLOv4 该软件包包含yolov4_trt_node，可使用NVIDIA的TensorRT引擎执行推理 该软件包适用于YOLOv3和YOLOv4。 根据所使用的YOLO模型，相应地更改命令。 搭建环境 安装依赖项 当前环境： 杰特逊Xavier AGX ROS旋律 Ubuntu 18.04 Jetpack 4.4 TensorRT 7+ 依存关系： OpenCV 3.x版 numpy的1.15.1 Protobuf 3.8.0 皮丘达2019.1.2 onnx 1.4.1（取决于Protobuf） 使用以下命令安装所有依赖项 Install pycuda (takes awhile) $ cd ${HOME}/catkin_ws/src/yolov4_trt_ros/dependencies $ ./install_pycuda.sh In
TensorRT-YOLOv4:tensorrt5，yolov4，yolov3，yolov3-tniy，yolov3-tniy-prn
03-20
TensorRT-YOLOv4 演示 表现 模型 input_size 显卡 模式 推理时间 608x608 gtx 1080Ti float32 23.3毫秒 416x416 gtx 1080Ti float32 13.0毫秒 608x608 gtx 1080Ti float32 18.2毫秒 416x416 gtx 1080Ti float32 10.0毫秒 608x608 gtx 1080Ti float32 3.31毫秒 416x416 gtx 1080Ti float32 2.01毫秒 608x608 gtx 1080Ti float32 3.05毫秒 416x416 gtx 1080Ti float32 2.01毫秒 包括预处理和后处理时间。 环境条件 gtx 1080Ti ubuntu 1604 TensorR
darknet-YOLOV4修改版可以直接在Jetson系列产品上使用
09-06
YOLO之父Joseph Redmon在今年年初宣布退出计算机视觉的研究的时候，很多人都以为目标检测神器YOLO系列就此终结。 然而在4月23日，继任者YOLO V4却悄无声息地来了。Alexey Bochkovskiy发表了一篇名为YOLOV4: Optimal Speed and Accuracy of Object Detection的文章。 YOLO V4是YOLO系列一个重大的更新，其在COCO数据集上的平均精度(AP)和帧率精度(FPS)分别提高了10% 和12%，并得到了Joseph Redmon的官方认可，被认为是当前最强的实时对象检测模型之一。
Caffe/Pytorch转为TensorRT 4.0的示例代码
10-25
这个代码是安装TensorRT 4.0后自带的，功能也有限，所以自己在目录中搜索一下就能看到。所以先自己找找，找不到再下载。有些人可能不知道有这样的范例，工作碰上很麻烦。所以这里就打包上传。
在Jetson NX上用Tensorrt加速yolov4-tiny模型及问题汇总
weixin_51284201的博客
07-16 694
在jetson xavier nx使用Tensorrt加速yolov4-tiny模型，这里使用官方或者自己的模型都可以，笔者使用的是自己训练好的模型。
YOLOv4 tensorrt推理 python版【附代码】
z240626191s的博客
10-23 2717
学了几天的tensorRT，又经过了几天的努力终于实现了YOLOv4 tensorRT推理，这篇文章将把这些成果开源出来，供大家免费使用。YOLOv4代码我采用的是b站up主，相信大家应该都比较熟悉这位大佬。关于trt的推理部分我是参考了官方YOLOV5 6.2版本。有关YOLOv4剪枝参考我另一篇文章：剪枝以后的模型也可以用tensorrt进行推理【理论是可行的，虽然我还没试】windows10cuda10.2cudnn8.2.1pytorch1.7python 3.7。
在Jetson Nano上使用TensorRT来加速模型
qq_53206057的博客
03-26 1097
1. **模型转换**：首先，你需要将训练好的深度学习模型转换为TensorRT支持的格式。例如，如果你的模型是用TensorFlow或PyTorch框架训练的，你可以使用ONNX（Open Neural Network Exchange）格式作为中间步骤，然后将ONNX模型转换为TensorRT优化的模型。2. **优化**：TensorRT会对模型进行一系列的优化操作，包括层融合、精度校准（比如从FP32到FP16或INT8）、内核自动调优等，以提高模型在特定硬件上的执行效率。
tensorRT安装及加速YOLOv4(tiny)
weixin_41170972的博客
09-05 1980
环境 cuda 10.1 cudnn 764 tensorRT安装 本文采用tkDNN的方法，根据YOLOv4 作者AlexeyAB推荐，可以支持(tiny) YOLO v1~YOLO v4的加速编译。其中，tkDNN-TensorRT 可以加速YOLOv4到 2倍（batch=1），3-4 倍（batch=4）。本文以tiny YOLOv4模型在TX2上测试，batch=1时大概提速50%左右。 安装包下载地址 cd Downloads tar -xvf TensorRT-6.0.1.5.Ubuntu-
Jetson AGX Xavier 实现TensorRT加速YOLOv4
围白的尾巴
06-07 3317
一、 四、TensorRT加速 1、克隆tensorrt_demos工程 git clone https://github.com/jkjung-avt/tensorrt_demos 2、环境搭建 ①参考我为yolov5配置环境及TensorRT加速的文章，配置的python环境，得到名为yolov5env的环境。 ②安装pycuda与onnx conda activate yolov5env pip install pycuda pip install onnx==1.4.1 .
yolov8在jetson nano上部署TensorRT加速选择哪个量化方式
最新发布
04-22
好的，用户现在的问题是在Jetson Nano上部署YOLOv8时，使用TensorRT加速的最佳量化方式比较。我需要先回忆一下TensorRT支持的量化方法，以及它们在Jetson Nano上的适用性。 首先，TensorRT常见的量化方法包括INT8...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值