【pytorch】yolov7+nms转tensorrt，动态模型

已于 2022-11-07 22:41:28 修改
阅读量833 收藏
点赞数
分类专栏： pytorch 文章标签： pytorch 人工智能 python
于 2022-11-04 09:56:41 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/luolinll1212/article/details/127683218
版权
yolov7 onnx测试 可供tensorrt用
jacke121的专栏
09-06 1360
yolov7 onnx测试 可供tensorrt用
模型实战（19）之 从头搭建yolov9环境+tensorrt部署+CUDA前处理 -＞ 实现目标检测
yohnyang的博客
04-21 843
从头搭建yolov9环境+tensorrt部署+CUDA前处理 -> 实现目标检测
pytorch yolov7 模型转tensorRT
home花的博客
08-21 390
查看so是否没有找不到，若so包正常，说明export环境变量没生效，请 source ~/.bashrc，或者手动执行。如果环境什么都没出错的话，这里编译是会很顺利的。然后cd进入bin文件夹，设置环境变量：vi ~/.bashrc,写入下面设置。检查python中tensorrt是否安装成功。还需要安装pycuda。
边缘计算场景下的模型轻量化：TensorRT部署YOLOv7的端到端优化指南
最新发布
像风一样自由
04-16 1402
在边缘设备（如Jetson系列）部署YOLOv7需兼顾模型精度、推理速度与功耗限制三重约束。TensorRT作为NVIDIA官方推理加速库，通过算子融合、量化压缩和内存复用等优化技术，可将模型推理速度提升2-5倍‌。
Yolov7的tensorRT部署与使用
M16_A2E3的博客
03-06 3520
TensorRT的C++部署
yolov7 PyTorch模型转TensorRT
linghu8812的博客
07-12 3380
yolov7 PyTorch模型转TensorRT推理
TensorRT-For-YOLO-Series项目：实现yolov10模型的python-tensorrt推理（对比int8与fp16推理差异）
a486259的博客
09-08 1622
项目地址：https://github.com/Linaom1214/TensorRT-For-YOLO-Series/tree/cuda-python 算法支持状态： 2024.6.16 Support YOLOv9, YOLOv10, changing the TensorRT version to 10.0 2023.8.15 Support cuda-python 2023.5.12 Update 2023.1.7 support YOLOv8 2022.11.29 fix some bug tha
从Pytorch到TensorRT的转换和推理
xu.hyj
03-12 1991
在本文中我们使用pytorch自带的工具将pt模型转为onnx模型，并使用onnxruntime推理引擎进行推理。为了保证模型转换过程中精度，进行了精度对齐的小实验，证明转换前后的误差在1e-6这个级别，是可以忍受的。后续继续将onnx转为tensorRT进行部署，实现从pt–onnx–tensorRT这个部署路线。
如何用TensorRT部署YOLOv7
DeepDriving
12-07 2176
本文将介绍如何用TensorRT的C++接口部署YOLOv7目标检测模型，并在两种显卡上测试了各个模型的性能。
yolov8实战第三天——yolov8TensorRT部署（python推理）（保姆教学）
热门推荐
qq_34717531的博客
12-26 1万+
TensorRT是一种，可以为深度学习应用提供的部署推理。TensorRT可用于对超大规模数据中心、嵌入式平台或自动驾驶平台进行推理加速。TensorRT现已能支持TensorFlow、Caffe、Mxnet、Pytorch等几乎所有的深度学习框架，将TensorRT和NVIDIA的GPU结合起来，能在几乎所有的框架中进行快速和高效的部署推理。一般的深度学习项目，训练时为了加快速度，会使用多GPU分布式训练。
【目标检测-YOLO】YOLOv5-yolov5s TensorRT部署准备之ONNX导出（第一篇）
博观约取，厚积薄发
04-01 7783
下面的内容是对 YOLOv5-yolov5s TensorRT部署前的准备之导出可用的ONNX。 之前已经写过部分内容，但是还不够详细。 1. YOLOv5-6.0版本 以下内容以 6.0 版本为准。 修改导出文件： def forward(self, x): z = [] # inference output for i in range(self.nl): x[i] = self.m[i](x[i]) # conv2d
0807-极智开发-解读使用Darknet部署Resnet50算法
02-28
0807_极智开发_解读使用Darknet部署Resnet50算法
使用YOLOv7进行Transformer检测模型的TensorRT部署
jinfagang1211的博客
04-23 9625
最近有大佬开源了YOLOv7, 大概看了一眼， 支持DETR等模型的ONNX导出，并且可以进行tensorrt推理。但是原作者并没有开源对应的权重，也没有开源onnx推理的脚本。本文就依托YOLOv7这个项目，将DETR导出到onnx,并教大家如何使用这个onnx进行tensorrt的部署。 首先clone一下原项目： https://github.com/jinfagang/yolov7 DETR 权重推理验证 原来的项目其实也支持AnchorDETR,这个我没有测试，但是
YOLOv7教程系列：二、使用onnx导出成tensorrt模型，实现高性能部署，包含opencv多线程、图像队列存取、自动保存xml和jpg等模块
weixin_45921929的博客
01-12 2220
YOLOv7教程系列：二、使用onnx导出成tensorrt模型，实现高性能部署，包含opencv多线程、图像队列存取、自动保存xml和jpg等模块
使用TensorRT对yolov7进行加速
Power392413的博客
08-13 4608
使用TensorRT对yolov7进行加速
Yolo系列模型使用TensorRT-C++推理学习
sansheng0208的博客
12-06 2501
回忆了很多c++的基本知识，也对齐了python用TRT推理和c++用TRT的一个流程上的异同，并且在查找很多TRT的c++ api时发现很多api弃用了或者推荐使用新的api，后续计划将该工程对应的api修改换成新版的作为一个课后补习。如有错误，请联系我修改。
探秘TensorRT for YOLO Series：加速计算机视觉的利器
gitblog_00024的博客
04-12 466
探秘TensorRT for YOLO Series：加速计算机视觉的利器 去发现同类优质开源项目:https://gitcode.com/ 本文将向您介绍一个基于维护，通过充分利用GPU硬件加速，为开发者提供了高效的深度学习推理解决方案。 项目简介 是一个针对YOLO（You Only Look Once）目标检测算法的TensorRT优化库。YOLO系列以其快速的目标检测能力而著名，而Tens...
pytorch nms yolov7 c++ nms
jacke121的专栏
12-13 956
pytorch nms yolov7 c++ nms
YOLOv7环境搭建、训练流程以及转TensorRT部署问题
weixin_41868417的博客
07-25 3360
YOLOv7的环境搭建训练以及部署
yolov5+tensorrt
03-28
<think>好的，用户想了解如何将YOLOv5与TensorRT集成或优化。首先，我需要回忆相关的步骤和引用内容。根据提供的引用，特别是引用[1]和[3]，用户需要导出ONNX模型，然后使用TensorRT的转换工具生成优化后的引擎文件。 首先，YOLOv5的模型需要导出为ONNX格式。这一步可能需要注意模型的输出层，特别是NMS部分，因为TensorRT可能不支持原生的PyTorch NMS操作。引用[3]提到可能需要引入自定义插件来处理NMS，这可能会比较复杂，用户需要检查是否有现成的插件或者需要自己实现。 接下来是使用TensorRT的builder工具，比如build.py脚本，将ONNX模型转换为TensorRT引擎。引用[1]中的命令示例是`python build.py --weights yolov5s.pt --batch-size 1`，这里可能需要确认build.py是否来自YOLOv5的官方仓库或者第三方实现，用户可能需要克隆特定的仓库来获取这个脚本。 优化方面，TensorRT会进行层融合、精度校准（比如FP16或INT8量化），这些都能提升推理速度。引用[2]提到TensorRT通过优化模型提高推理速度，对实时应用很重要。用户可能需要指导他们如何开启这些优化选项，例如在转换时添加`--fp16`参数。 部署阶段，用户可能需要C++或Python的接口。引用[4]提到了C++部署所需的头文件和库文件的位置，以及示例程序。用户如果使用C++，需要链接TensorRT的库，并调用相应的API加载引擎文件进行推理。 此外，用户可能关心性能测试，比如使用trtexec工具来评估优化后的模型速度。还需要注意不同硬件上的兼容性问题，比如不同版本的TensorRT或CUDA可能影响部署。 可能遇到的问题包括ONNX导出时的错误，比如不支持的算子，这时候需要查看文档或社区解决方案。另外，INT8量化需要校准数据集，用户可能需要准备一些数据用于校准过程。 最后，应该提醒用户参考官方文档和社区资源，确保步骤正确，并在遇到问题时进行调试。可能需要分步骤详细说明，确保用户能够逐步完成集成和优化。</think>### YOLOv5与TensorRT集成及优化教程 #### 1. **模型导出为ONNX格式** - **步骤**： 1. 使用YOLOv5官方脚本导出ONNX模型： ```bash python export.py --weights yolov5s.pt --include onnx --dynamic ``` 2. 检查ONNX输出层是否符合TensorRT要求。若需自定义NMS插件（如BatchedNMS），需修改模型结构或引入插件[^3]。 - **注意**：若出现不支持的操作符（如切片操作），需调整模型结构或通过TensorRT插件实现。 --- #### 2. **生成TensorRT引擎** - **使用官方转换脚本**： ```bash python build.py --weights yolov5s.pt --batch-size 1 --fp16 # 启用FP16优化[^1] ``` - **参数说明**： - `--batch-size`: 指定推理时的批次大小。 - `--fp16`: 启用FP16精度加速（需GPU支持）。 - 若需INT8量化，需提供校准数据集并添加`--int8`参数[^2]。 --- #### 3. **TensorRT优化技术** 1. **层融合（Layer Fusion）**： - TensorRT自动合并卷积、BN、激活函数等层，减少计算量[^2]。 2. **动态形状支持**： - 导出时添加`--dynamic`参数，适配不同输入分辨率。 3. **精度校准**： - FP16：适合大多数GPU（如NVIDIA Tesla系列），速度提升显著。 - INT8：需校准数据集，精度损失可控时速度翻倍[^2]。 --- #### 4. **部署与推理** - **Python部署示例**： ```python import tensorrt as trt # 加载TensorRT引擎 with open("yolov5s.engine", "rb") as f: runtime = trt.Runtime(trt.Logger(trt.Logger.WARNING)) engine = runtime.deserialize_cuda_engine(f.read()) # 创建执行上下文 context = engine.create_execution_context() ``` - **C++部署**： - 引用头文件`NvInfer.h`和库文件`nvinfer_plugin.so`[^4]。 - 使用TensorRT C++ API加载引擎并执行推理。 --- #### 5. **性能测试与调优** - **工具**： - 使用`trtexec`测试引擎速度： ```bash trtexec --loadEngine=yolov5s.engine --shapes=input:1x3x640x640 ``` - **调优方向**： - 调整输入分辨率（如640x640→320x320）。 - 尝试不同精度模式（FP32/FP16/INT8）。 --- #### 6. **常见问题** 1. **ONNX导出失败**： - 确保PyTorch和ONNX版本兼容，禁用不支持的操作（如`Focus`层需替换为卷积）。 2. **NMS插件缺失**： - 从[TensorRT插件库](https://github.com/NVIDIA/TensorRT)编译并注册BatchedNMS插件。 3. **推理结果错误**： - 检查输入预处理（归一化、通道顺序）是否与训练一致。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值