tensorRT在yolo上的使用

最新推荐文章于 2025-06-22 10:43:32 发布
最新推荐文章于 2025-06-22 10:43:32 发布
阅读量4.5k 收藏 10
点赞数
CC 4.0 BY-SA版权
分类专栏： 深度学习视觉相关 文章标签： yolo tensorRT 深度学习加速 win10
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/blanokvaffy/article/details/89051826
本文档介绍了如何在Win10环境下使用TensorRT对YOLOv3模型进行加速，实现了视频和图片的推理，并支持多线程并行加速。通过lewes6369的TensorRT-yolov3改写，已在Win10及Linux上成功编译运行。详细源码和编译方法可参考作者的GitHub仓库。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

根据lewes6369的TensorRT-yolov3改写了一版基本实现可以推理视频和图片、可以多线程并行加速的TensorRT-yolov3模型，在win10系统和Linux上都成功的进行了编译。

源码和编译方式详见我的github。
win10版源码可以在这里下载。

搭建环境

ubuntu16  & win10
TensorRT 5.1
CUDA 9.0 or CUDA 10.0

测试效果

Model GPU Mode Inference FPS
yolov3_608 GTX 1060 fp32 58ms 15
yolov3_608 GTX 1060 int8
了解本专栏 订阅专栏 解锁全文 超级会员免费看
使用TensorRT强化yolo11模型推理速度全流程
m0_47313541的博客
03-19 487
将YOLO模型优化到TensorRT通常包括以下步骤：1. 模型导出：将YOLO模型从原始格式（如PyTorch的 .pt 文件）导出为ONNX格式。2. 模型优化：使用TensorRT的API将ONNX模型转换为TensorRT引擎文件（ .engine ）。3. 推理执行：加载TensorRT引擎文件，并使用TensorRT的推理接口进行推理。
TensorRT-YOLOv4:tensorrt5，yolov4，yolov3，yolov3-tniy，yolov3-tniy-prn
03-20
TensorRT-YOLOv4 演示 表现 模型 input_size 显卡 模式 推理时间 608x608 gtx 1080Ti float32 23.3毫秒 416x416 gtx 1080Ti float32 13.0毫秒 608x608 gtx 1080Ti float32 18.2毫秒 416x416 gtx 1080Ti float32 10.0毫秒 608x608 gtx 1080Ti float32 3.31毫秒 416x416 gtx 1080Ti float32 2.01毫秒 608x608 gtx 1080Ti float32 3.05毫秒 416x416 gtx 1080Ti float32 2.01毫秒 包括预处理和后处理时间。 环境条件 gtx 1080Ti ubuntu 1604 TensorR
使用TensorRT加速yolo3
weixin_34413103的博客
02-24 2651
一、TensorRT支持的模型： TensorRT 直接支持的model有ONNX、Caffe、TensorFlow，其他常见model建议先转化成ONNX。总结如下： 1 ONNX(.onnx) 2 Keras(.h5) --> ONNX(.onnx) (https://github.com/onnx/keras-onnx) 3 Caffe(.caffemodel) 4 ...
加速深度学习部署：英伟达TensorRT全面指南
weixin_29092787的博客
06-22 639
TensorRT是NVIDIA推出的一款深度学习推理优化工具，它专门为深度学习推理操作提供了高性能的优化。通过利用GPU的并行处理能力，TensorRT能够显著提升深度学习模型在推理阶段的性能。这一特性对于实时AI应用来说至关重要，因为它们需要尽可能快速且高效地处理数据。
TensorRT-YOLO：灵活易用的 YOLO 部署工具
weixin_37083395的博客
12-28 213
????TensorRT-YOLO 是一款专为 NVIDIA 设备设计的易用灵活、极致高效的YOLO系列推理部署工具。项目不仅集成了 TensorRT 插件以增强后处理效果，还使用了 CUDA 核函数以及 CUDA 图来加速推理。TensorRT-YOLO 提供了 C++ 和 Python 推理的支持，旨在提供????开箱即用的部署体验。包括 目标检测、实例分割、图像分类、姿态识别、旋转目标检测、视频分析等...
使用TensorRT部署YOLOV5目标检测模型
weixin_53609418的博客
10-28 1332
接着就是cudaMemcpyAsync(m_inputMemory[1], m_inputMemory[0], m_inputSize, cudaMemcpyHostToDevice, m_stream)把数据从host移动到device端，同时这里注意到前面的m_bindings[0] = m_inputMemory[1];主要用来连接I--engine--O。这几行代码是的使用是因为前面构建模型的过程设置了dynamic-shape，所以在模型执行推理的时候也要设定推理时的dynamic-shape。
【TensorRT部署YOLO项目：实例分割+目标检测】+【C++和python两种方式】+【支持linux和windows】
02-08
【内容概要】 ：基于 TensorRT 和 YOLO 算法的工具，含完整项目文档，支持 C++ 和 Python 开发，实现目标检测与实例分割双重功能，以 .zip 格式提供资源，可在 Linux 和 Windows 上运行。 【适用人群】 ：开发者可...
使用TensorRT加速yolo3.zip
11-26
使用TensorRT加速yolo31. 如何运行这个项目a. 从这里下载 yolo3.weight ，并将名称更改为yolov3-608.weights。b. python yolov3_to_onnx.py，你将有一个名为yolov3-608.onnx的文件c.python onnx_to_tensorrt.py即可...
YOLO11目标检测算法训练+TensorRT部署实战-附项目源码+完整流程教程+一键执行脚本+效果展示-优质项目实战
10-28
YOLO11模型相较于早期版本，通常在准确率和速度上都有所提升，尤其是在保持检测速度的同时，提高了模型的检测精度。 TensorRT是NVIDIA推出的一款深度学习推理优化器和运行时平台，专门用于深度学习的加速。TensorRT...
性能飞跃！TensorRT-YOLO灵活易用的 YOLO 部署工具
datayx的文章
02-10 275
向AI转型的程序员都关注公众号机器学习AI算法工程一、核心升级亮点速览????多Context共享引擎：高效推理，最大化硬件资源利用率TensorRT-YOLO 6.0 引入了创新的多Context共享引擎机制，允许多个线程共享同一个Engine进行推理，最大化硬件资源利用率，同时显著降低内存占用。这一设计使得多任务并发推理更加高效，尤其适合需要同时处理多路视频流或大规模数据推理的场景。核心优势：权...
tiny_yolov2_onnx_cam:带有NVIDIA TensorRT的微型YOLO v2推理应用程序
04-17
tiny_yolov2_onnx_cam 带有NVIDIA TensorRT的微型YOLO v2推理应用程序 在日本阅读本 目录 该应用程序有什么作用？ 该应用程序从下载微型YOLO v2模型，并将其转换为NVIDIA TensorRT计划，然后开始对摄像机捕获的图像进行对象检测。 先决条件 NVIDIA Jetson Nano开发人员套件 USB网络摄像头或Raspberry Pi摄像头V2 NVIDIA JetPack 4.2.1或更高版本 安装 安装依赖库。 $ sudo apt update $ sudo apt install python3-pip protobuf-compiler libprotoc-dev libjpeg-dev cmake 您可能需要先安装Cython ，然后再安装其他python模块。 否则，在numpy安装中可能会发生“ RuntimeErr
TensorRT部署YOLOv5(VS和Cmake两种方式)
qq_52859223的博客
04-15 1万+
小白都会的文章
TensorRT&Sample&Python[yolov3_onnx]
weixin_30362083的博客
03-19 1380
本文是基于TensorRT 5.0.2基础上，关于其内部的yolov3_onnx例子的分析和介绍。 本例子展示一个完整的ONNX的pipline，在tensorrt 5.0的ONNX-TensorRT基础上，基于Yolov3-608网络进行inference，包含预处理和后处理。 首先，从作者网站下载yolov3，然后将其转换成onnx形式，接着基于onnx的graph生成一个tensorrt...
【YOLO】Windows 下 YOLOv8 使用 TensorRT 进行模型加速部署
MangoloD的博客
05-15 9890
YOLOv8 使用 TensorRT 进行模型加速部署
TensorRT的sample：yolov3_onnx
xiaolajiruirui的博客
01-10 397
TensorRT/Sample/python/yolo_onnx环境：结果：yolov3_to_onnx.pyonnx_to_tensorrt.pydata_processing.py 吐槽：官方给的例子（https://github.com/NVIDIA/TensorRT/samples/python）居然要python2运行，而且错误好多… 参考：https://www.cnblogs.com/shouhuxianjian/p/10550262.html，稍加修改 环境： onnx 1.2.1 Tens
【TensorRT】TensorRT 部署Yolov5模型（C++）
热门推荐
grape_yan的博客
01-04 1万+
TensorRT支持多种模型文件，不过随着onnx模型的发展，目前多种模型框架都将onnx模型当作中间转换格式，是的该模型结构变得越来越通用，因此TensorRT目前主要在更新的就是针对该模型的转换。TensorRT是可以直接读取engine文件，对于onnx模型需要进行一些列转换配置，转为engine引擎才可以进行后续的推理，因此在进行模型推理前，需要先进行模型的转换。
使用TensorRT对yolov7进行加速
Power392413的博客
08-13 4633
使用TensorRT对yolov7进行加速
TensorRT-YOLO 使用教程
gitblog_00837的博客
09-13 953
TensorRT-YOLO 使用教程 1. 项目介绍 TensorRT-YOLO 是一个支持 YOLOv3、YOLOv5、YOLOv6、YOLOv7、YOLOv8、YOLOv9、YOLOv10、PP-YOLOE 和 PP-YOLOE+ 的推理加速项目。该项目使用 NVIDIA TensorRT 进行优化，不仅集成了 EfficientNMS TensorRT 插件以增强后处理效果，还使用了 CUD...
TensorRT和TensorRT-YOLO的作用
最新发布
07-29
<think>嗯，用户想了解TensorRT和TensorRT-YOLO的功能和作用。从引用内容看，用户可能正在Jetson Nano这类边缘设备上部署YOLO模型，需要高效推理方案。 用户提供的引用很有价值，特别是提到TensorRT-YOLO 6.0的多Context共享引擎机制，这个创新点值得重点说明。用户可能更关注实际部署效果而非理论，需要强调性能数据。 关于TensorRT部分，应该从三个层面说明：1) 作为推理引擎的本质 2) 核心优化技术（量化/层融合）3) 硬件适配优势。引用[1]提到Nano上不用TensorRT时yolov3 tiny仅8fps，而官网称可达25fps，这个对比很直观。 对于TensorRT-YOLO，要突出其“专用适配器”的定位。引用[3]展示的导出命令python export.py -o yolov10n.onnx -e yolov10.trt很典型，说明其简化了ONNX到TensorRT引擎的转换流程。引用[4]的显存占用对比表格更是有力佐证，当4个模型实例时显存节省达46.3%，这个数据必须呈现。 注意到引用[2][4]都提到多路视频流处理优势，用户可能有视频分析需求，相关应用场景要单列。另外需澄清TensorRT-YOLO不是独立框架，而是基于TensorRT的优化工具链，避免概念混淆。 最后生成的问题要有递进性：从基础原理到部署实操，再到性能调优，覆盖用户可能的后续需求。特别是INT8量化问题，引用[3]提到对比fp16，但未展开，这往往是边缘设备的关键优化点。</think>以下是关于**TensorRT**和**TensorRT-YOLO**的功能与作用的详细介绍： --- ### **一、TensorRT 的功能与作用** **TensorRT** 是 NVIDIA 推出的高性能深度学习推理（Inference）引擎，核心目标是为生产环境中的深度学习模型提供**极致优化**和**低延迟推理**。 #### 核心功能： 1. **模型优化** - **层融合（Layer Fusion）**：合并多个操作（如卷积+激活函数）为单一内核，减少计算量和内存访问次数。 - **精度校准**：支持 FP32/FP16/INT8 量化，通过降低精度换取显著加速（INT8 可提速 2-3 倍）[^3][^4]。 - **内核自动调优**：根据 GPU 架构选择最优计算内核。 2. **硬件加速** - 最大化利用 NVIDIA GPU 的 Tensor Core 并行计算能力，显著提升吞吐量（如 Jetson Nano 上 YOLOv3 从 `<1 FPS` → `25 FPS`）[^1]。 3. **部署支持** - 支持 Caffe、TensorFlow、PyTorch（需转 ONNX）等框架导出的模型[^1][^3]。 - 生成轻量级推理引擎（`.engine` 文件），可直接集成到 C++/Python 应用。 --- ### **二、TensorRT-YOLO 的功能与作用** **TensorRT-YOLO** 是基于 TensorRT 的 **YOLO 系列模型专用优化工具**，解决目标检测模型在边缘设备（如 Jetson Nano）的部署难题。 #### 核心优势： 1. **多 Context 共享引擎（TensorRT-YOLO 6.0+）** - **权重共享**：多个推理线程共享同一份模型权重，显存占用降低高达 **46.3%**（4 实例时）[^4]。 - **并发推理优化**：支持多路视频流并行处理，适合实时监控场景[^2][^4]。 - 显存优化对比： | 模型实例数 | 克隆模式显存 | 原生模式显存 | 节省率 | |------------|--------------|--------------|--------| | 1 | 408 MB | 408 MB | - | | 2 | 536 MB | 716 MB | 25.1% | | 3 | 662 MB | 1092 MB | 39.4% | | 4 | 790 MB | 1470 MB | 46.3% | [^4] 2. **端到端部署简化** - 提供一键式模型转换脚本（如 `python export.py`），将 YOLO 模型（如 YOLOv10）从 ONNX 转为 TensorRT 引擎[^3]。 - 支持 INT8/FP16 量化校准，平衡精度与速度（如 `--fp16` 参数）[^3]。 3. **边缘设备性能飞跃** - 在 Jetson Nano 上： - YOLOv3 原生：`<1 FPS` → TensorRT-YOLO：`25 FPS`[^1] - YOLOv3-tiny 原生：`<8 FPS` → TensorRT-YOLO：`>30 FPS`[^1] --- ### **三、典型应用场景** 1. **实时视频分析** - 多路摄像头目标检测（交通监控、安防系统）[^4]。 2. **边缘计算设备** - Jetson Nano/NX 等嵌入式平台的 AI 推理[^1][^3]。 3. **大规模数据推理** - 需高吞吐量的服务器级推理任务[^2][^4]。 ---
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

blanokvaffy

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值