【YOLOv9】实战二：手把手教你使用TensorRT实现YOLOv9实时目标检测（含源码）

已于 2024-05-13 12:07:38 修改
阅读量2.8k 收藏 57
点赞数 49
CC 4.0 BY-SA版权
分类专栏： 仪酷LabVIEW目标检测工具包实战 LabVIEW深度学习实战 文章标签： 目标检测 人工智能 计算机视觉 深度学习 YOLO
于 2024-04-22 18:14:44 首次发布
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.youkuaiyun.com/virobotics/article/details/132793173

‍‍🏡博客主页： virobotics(仪酷智能)：LabVIEW深度学习、人工智能博主
🎄所属专栏：『LabVIEW深度学习实战』
📑上期文章：『【YOLOv9】实战一：在 Windows 上使用LabVIEW OpenVINO工具包部署YOLOv9实现实时目标检测（含源码）』
🍻本文由virobotics(仪酷智能)原创

🥳欢迎大家关注✌点赞👍收藏⭐留言📝订阅专栏

文章目录

🧩前言

好久不见，很开心今天能够以文字的形式与大家见面~

Hello，大家好，我是你们的virobotics（仪酷智能），一个深耕于LabVIEW和人工智能领域的开发工程师。

上一片博文给大家介绍了在 Windows 上使用LabVIEW OpenVINO工具包部署YOLOv9实现实时目标检测，相信大家对YOLOv9已有初步了解。如大家所知：YOLOv9引入了可编程梯度信息 (PGI) 和广义高效层聚合网络 (GELAN) 等开创性技术，不仅增强了模型的学习能力，还确保了在整个检测过程中保留关键信息，从而实现了卓越的准确性和性能。官方代码目前已经开源。

YOLOv9结合LabVIEW的强大功能和TensorRT的优化性能，我们可以创建高效且响应迅速的视觉系统。本文将详细介绍如何使用仪酷LabVIEW TensorRT工具包部署YOLOv9模型，以及如何处理可能遇到的挑战。

🧭TensorRT™工具包及YOLOv9简介

1.1 TensorRT™简介

TensorRT™是一个高性能的深度学习推理（Inference）优化器，可以为深度学习应用提供低延迟、高吞吐率的部署推理。TensorRT™可用于对超大规模数据中心、嵌入式平台或自动驾驶平台进行推理加速。TensorRT™现已能支持TensorFlow、Caffe、Mxnet、Pytorch等几乎所有的深度学习框架，将TensorRT™和NVIDIA的GPU结合起来，能在几乎所有的框架中进行快速和高效的部署推理。主要用来针对 NVIDIA GPU进行高性能推理（Inference）加速。

在这里插入图片描述

1.2 LabVIEW TensorRT™工具包介绍

LabVIEW TensorRT™工具包是我们（VIRobotics团队）基于TensorRT™ 开发的一款AI推理加速工具包，整个工具包作为LabVIEW的插件，结合LabVIEW提供的丰富工具及VI使得集成各种AI模型到更大的系统中变得简单。无论是数据采集、信号处理还是与其他硬件的交互，都可以在同一个环境中高效完成。可以显著提升在LabVIEW环境中开发和部署计算机视觉及深度学习应用的效率和性能。同时，利用NVIDIA TensorRT的优化能力，能够针对不同的硬件配置自动优化模型，提高推理速度，降低延迟。这对于需要实时反馈的应用来说，是一个巨大的优势。用户可以享受到加速后的模型推理速度，而无需深入了解底层的优化技术。

以下为yolov5s以及yolov8n模型使用LabVIEW TensorRT™工具包在不同显卡上推理的速度测评
（😸在此特别鸣谢不愿透漏姓名的合作伙伴提供的测评结果）

在这里插入图片描述

1.3 YOLOv9简介

YOLOv9 在COCO 数据集上的表现体现了其在实时物体检测方面的显著进步，为各种模型大小设定了新的基准。具体如下图所示。
在这里插入图片描述

如下图所示，在MS COCO数据集上实时目标检测器的比较中，基于GELAN和PGI的目标检测方法在目标检测性能方面超越了所有先前的从头开始训练的方法。在准确性方面，新方法优于使用大型数据集预训练的RT-DETR，同时也优于基于深度卷积设计的YOLO MS在参数利用方面的表现。

在这里插入图片描述

YOLOv9论文链接： YOLOv9: Learning What You Want to Learn Using Programmable Gradient Information
YOLOv9官方开源地址： https://github.com/WongKinYiu/yolov9

🎈YOLOv9环境搭建

  1. 部署本项目时所用环境
  1. 软件下载及安装

🚲️模型获取

注意：本教程已经为大家提供了YOLOv9的onnx模型，可跳过本步骤。若是想要了解YOLOv9的onnx模型如何导出，则可继续阅读本部分内容。

3.1 源码下载

打开YOLOv9官方开源地址：https://github.com/WongKinYiu/yolov9，下载zip，并解压该压缩包
在这里插入图片描述

3.2 配置环境

在“yolov9-main”文件夹下，输入以下指令安装yolov9所需环境：

pip install -r requirements.txt

下面我们来介绍onnx模型的导出(以YOLOv9-c为例，想要导出其他模型的方式也一样，只需要修改名字即可)

3.3 下载并导出onnx模型

此处以官方预训练模型为例，首先下载预训练模型文件，然后调用export.py文件导出ONBNX格式的模型文件

可以在此处下载pt模型：
https://github.com/WongKinYiu/yolov9/releases/download/v0.1/yolov9-c-converted.pt
https://github.com/WongKinYiu/yolov9/releases/download/v0.1/yolov9-c.pt
也可以在官网中直接下载模型：
在这里插入图片描述
下载好了之后，将模型放在"yolov9-main"文件夹下，在yolov9-main文件夹下打开cmd，并输入指令：

python export.py --weights ./yolov9-c.pt --imgsz 640 --include onnx

在这里插入图片描述
如上图所示即已成功导出onnx模型。

🎨项目实践

4.1 项目简介

本文我们将结合之前开发的 LabVIEW TensorRT™工具包和LabVIEW Object_Detection工具包部署 YOLOv9 模型实现视频流及实时目标检测。

整个项目工程如下，项目模型以YOLOv9-C为例，目前官方较小尺寸的模型还未开放
在这里插入图片描述

  • model：yolov9的onnx模型及coco.names文件，之后优化好的engine也可以放置在该文件夹下
  • video：测试视频文件夹
  • yolov9_onnx_to_engine.vi：将yolov9的onnx模型转化为TensorRT引擎模型（.engine）
  • yolov9_trt_video.vi：yolov9检测视频流
  • yolov9_trt_camera.vi：接入摄像头实现实时目标检测

4.2 yolov9导出engine模型

模型转化为engine，即TensorRT引擎模型是非常有必要的，这种格式是针对特定的GPU架构进行优化的，可以充分利用GPU的并行计算能力。通过将ONNX模型转换为TensorRT引擎模型，可以获得最佳的GPU加速效果，提高推理速度，同时可以获得更高的显存利用率和更低的显存带宽需求，同一台电脑，同一个模型只需做一次模型转换即可。

  • 由于yolov9-c.onnx默认有两个输出，而推理时第二个输出往往用不到，所以我们需要使用tensorRT工具包中InetworkDefinition相关函数，首先判断onnx的输出数量，如发现有2个输出，则将后面一个输出（即index为1的输出）进行unmark操作。双击并打开yolov9_onnx_to_engine.vi，程序框图如下图所示：

在这里插入图片描述

当然，如果使用yolov9-c-converted.onnx，因为只有一个输出，故不需要去除最后一个输出，可以直接使用工具包自带的onnx_to_engine.vi进行转换。（也可以使用上面的代码进行转换，因为范例yolov9_onnx_to_engine.vi使用了条件分支判断模型的输出有几个。

  • 选择需要转换的yolov9.onnx模型以及生成engine模型的路径：
    在这里插入图片描述
  • 将onnx模型转化为engine模型会因显卡不同而有所差异，所用时间也不同，我们只需等待模型转化完毕，将LabVIEW完全关闭即可。

4.3 加载YOLOv9模型实现目标检测

  1. 模型及其他初始化：加载yolov9的engine模型及coco.name文件，选择函数选板—Addons—VIRobotics—ModelZoo—Object Detection中的Object_Detection_InitialModel_TensorRT多态VI，其中选择器选择“InitialModel_yolov9_tensorRT”，设置正确的model_path路径和类别名字的文件（coco.names）

    在这里插入图片描述

  2. 配置Config簇控件：如使用了上文的方法将yolov9的onnx转engine，需将InitialModel的Config输入端进行如下配置：
    在这里插入图片描述

  3. 摄像头图像采集：启动摄像头，设置相机分辨率并采集图像

    在这里插入图片描述

  4. 实时推理并绘制检测结果：进行图像预处理，推理，并获取推理结果，将结果绘制出来，以图片控件的形式显示在前面板上；

    在这里插入图片描述

  5. 释放资源：释放相机资源及模型所占内存等资源

  6. 完整源码；
    在这里插入图片描述

4.4 运行效果

按照前文YOLOv9环境搭建安装相关工具包，然后运行 yolov9_tensorRT_video.vi（运行之前请确保电脑已联网），在Nvidia RTX 3080上运行结果如下图所示：

在这里插入图片描述

💻项目源码

如需源码，请在一键三连并订阅本专栏后评论区留下邮箱

🎯总结

以上就是今天要给大家分享的内容，希望对大家有用。如有笔误，还请各位及时指正。后续我们将为大家更新更多关于AI模型在LabVIEW的部署范例，欢迎大家关注博主。我是virobotics（仪酷智能），我们下篇文章见~

如您想要探讨更多关于LabVIEW与人工智能技术，欢迎加入我们的技术交流群：705637299。进群请备注：优快云

如果文章对你有帮助，欢迎✌关注、👍点赞、✌收藏、👍订阅专栏

推荐阅读

【YOLOv5】LabVIEW+TensorRT的yolov5部署实战（含源码））
【YOLOv8】实战一：手把手教你使用YOLOv8实现实时目标检测
【YOLOv8】实战二：YOLOv8 OpenVINO2022版 windows部署实战
【YOLOv8】实战三：基于LabVIEW TensorRT部署YOLOv8
👇技术交流 · 一起学习 · 咨询分享，请联系👇

手把手教你搭建YOLOV8+CUDA环境，训练自定义数据集，训练推理验证导出。小白也能看得懂的！
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
05-18 1万+
YOLO（You Only Look Once）系列算法因其高效、准确等特点而备受瞩目。由2023年Ultralytics公司发布了YOLO的最新版本YOLOv8是结合前几代YOLO的基础上的一个融合改进版。本文主要介绍YOLOv8环境搭建/数据集获取/训练/推理/验证/导出/部署
手把手教你YOLOv8/YOLOv11分割训练自己数据集和推理，并教你使用Labelme工具标注数据(附分割网络结构图)
在职AI算法工程师，擅长计算机视觉，YOLO目标检测、分割等，擅长web、pyqt界面可视化，好内容持续更新中，来这里跟大家一起学习，共同进步
10-13 2853
YOLOv8-seg 和 YOLOv11-seg 都是一种高效实例分割算法，实例分割模型的输出是一组勾勒出图像中每个物体的遮罩或轮廓，以及每个物体的类标签和置信度分数。当你不仅需要知道物体在图像中的位置，还需要知道它们的具体形状时，实例分割就非常有用了，功能非常强大，可以应对各种视觉任务。 YOLOv11-seg 则在 YOLOv8-seg 基础上进一步魔改了模型架构，相对分割速度可能更快，其他指标性能有待测试。实例分割可以用于自动驾驶、医疗图像处理、智能农业监控等领域。
YOLOv9模型转ONNX,ONNX转TensorRT Engine
weixin_46686890的博客
07-12 379
github源码：https://blog.youkuaiyun.com/weixin_46686890/article/details/140379776?spm=1001.2014.3001.5502 yolov9_trt.py:https://github.com/LinhanDai/yolov9-tensorrt/blob/master/yolov9_trt.py TensorRT inference:https://github.com/WongKinYiu/yolov9/issues/143#issueco
使用YOLOv9实现实时视频目标检测
斯黄人民的博客
05-24 2767
本文详细介绍了如何使用YOLOv9实现实时视频目标检测，包括环境配置、代码实现和各个步骤的详细解释。通过这篇教程，你可以快速上手YOLOv9，并应用于实际的目标检测任务中。希望这篇文章对你有所帮助。
【新手必看】YOLO目标检测入门：10分钟用摄像头实现实时物体识别（人工智能丨机器学习丨深度学习丨计算机视觉丨物体检测丨神经网络）
最新发布
2501_91798322的博客
05-14 1220
在学习目标检测的过程中，很多新手都面临着明明学了理论却调不通代码，或者看了5小时教程还未跑通demo的问题。这让大家在实践中感到十分困扰。今天带来的方法核心亮点在于无需GPU，零配置，代码直接复用。让大家能更轻松地进行目标检测的实践。以下是办公室实时检测效果的示意图（此处可插入相关效果图）。
YOLOv9摄像头或视频实时检测
知识搬运者
06-22 1772
源码没有这个函数，直接在plots里面添加一个新的。
YOLOv8项目实践——目标检测、实例分割、姿态估计、目标追踪算法原理及模型部署（Python实现带界面）
知来者逆的博客
03-27 1万+
这是一个集成了YoloV8目标检测、实例分割、姿态估计与目标追踪的项目，界面是用PyQt5写的，可以读入图像，视频与摄像头。
TensorRT安装及使用教程
热门推荐
ZONGXP的博客
01-08 18万+
TensorRT 安装方法
个人测试，帧率显示
weixin_46716951的博客
03-23 1097
""" An example that uses TensorRT's Python api to make inferences. """ import ctypes import os import shutil import random import sys import threading import time import cv2 import numpy as np import pycuda.autoinit import pycuda.driver as cuda import tens
YoloV7实战：手把手教你使用Yolov7进行物体检测（附数据集）源码
10-12
YOLOv7 在 5 FPS 到 160 FPS 范围内的速度和准确度都超过了所有已知的物体检测器，并且在 GPU V100 上 30 FPS 或更高的所有已知实时物体检测器中具有最高的准确度 56.8% AP。...
YOLOv10快速入门：手把手教你构建和优化自己的检测模型
![YOLO入门教程——训练自己YOLOv10模型【含教程源码+一键分类数据集 + 故障排查】]...YOLOv10（You Only Look Once version 10），作为实时目标检测算法的一个里程碑式进展，以其检测速度快和精度高著称，在工
0662-极智开发-解读centos源码编译vscode web版
03-15
0662_极智开发_解读centos源码编译vscode web版
目标检测之YOLOv6实践
石头记
06-25 1581
上一篇文讲了目标检测的基础知识，今天以YoloV6为例（选择v6，因为项目的选型），详细讲解目标检测的工程细节，一些重要的超参数，必须用到的工具，会在工程任务中解释。 1：整体的再介绍一下YoLoV6。 2：如何使用YoLo进行图像的推理，试验一下效果。 3：如何使用YoLo进行重训，全量微调。 4：如何对YoLo进行剪枝，减少空间。 5：如何对YoLo进行量化，适应硬件。
模型实战（19）之 从头搭建yolov9环境+tensorrt部署+CUDA前处理 -＞ 实现目标检测
yohnyang的博客
04-21 869
从头搭建yolov9环境+tensorrt部署+CUDA前处理 -> 实现目标检测
yolo原理--YOLO9000实时目标检测系统
oldmoney
05-29 220
youtube link 分成7*7cell 每个cell 2个bounding box anchor 9000 是yolo可以解析9000个class类别
【YOLOv8实战】手把手带你入门YOLOv8，你也能训练自己的检测器，以SAR目标检测为例（源码+数据集+Gradio界面）
u010522887的专栏
04-11 5971
基于YOLOv8的SAR图像目标检测系统，覆盖数据制作、数据可视化、模型训练/评估/推理/部署全流程，最后通过 Gradio 界面进行展示。
Tensorrt的使用
weixin_48136861的博客
01-16 911
TensorRT(简写为TRT)是英伟达推出的针对英伟达显卡上深度学习模型部署加速的工具，使用时通常包含两个主要步骤，一是加载模型，二是执行推理，数据的前后处理有的也可以考虑放在trt模块中以提供显卡的加速能力，后续文章将会逐步展开。首先创建网络，以下代码为手动构建一个3*3的卷积网络，并保存，为方便理解每行都加了注释，最常用的做法还是直接调用onnx模型进行反序列化。接下来可以调用上一步构建的网络，执行推理，使用TRT基本代码需要包含头文件。
TensorRT使用（Tensorflow/Keras/Pytorch）
favorxin的博客
05-24 1833
本文旨在记录TensorRT使用情况，本人实测TensorRT加速Tensorflow，Keras，Pytorch模型，同时还对比了腾讯的Forward框架，当然Forward框架使用情况本篇文章不做记录。 环境（一）： （1）cuda：11.0 （2）cudnn：8.0.4 （3）TensorRT：7.2.1.6 （4）pycuda：2019.1.2 环境（二）： （1）cuda：10.0 （2）cudnn：7.6.3 （3）TensorRT：7.0.0.11 （4）pycuda：2019.1.2 一、T
评论 33
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

virobotics

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值