yolov5 + tensorRT + windows GPU C++部署

最新推荐文章于 2025-03-26 09:32:06 发布
最新推荐文章于 2025-03-26 09:32:06 发布
阅读量2.4k 收藏 50
点赞数 2
文章标签： c++ python opencv 深度学习 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_39017195/article/details/123378037
版权

yolov5 + tensorRT + C++ windows GPU部署

1. 环境介绍

yolov5在win10上的部署，yolov5原始版本为pytorch，libtorch在windows下的部署折腾了半天放弃，转而拥抱tensorRT。在此记录一下整个部署过程。
pytorch的inference环境：

  • win10
  • cuda10.2
  • pytorch1.8
  • python3.8
  • cudnn7.6.5
  • yolov5 v3.1
    tensorRT推理环境：
  • tensorRT 7.0:
  •  TensorRT-7.0.0.11.Windows10.x86_64.cuda-10.2.cudnn7.6(与上面的cuda和cudnn软件版本一致)
  • VS2017
  • OpenCV 3.4.0

2. 软件安装

安装好pytorch的gpu的环境，这部分属于python环境部署，这里不做详细介绍。
cuda和cudnn的安装网上资料很多，我就不截图了。

2.1 yolov5安装：

链接地址：yolov5 v3.1

  1. 下载yolo源码
  • git clone https://github.com/ultralytics/yolov5.git
  1. 安装依赖包
  • pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -r requirements.txt
  1. 下载训练权重文件,并并放置在weights文件夹下
    yolov5s.pt：权重下载

2.2 TensorRT安装：

  1. 英伟达官网下载与cuda和cudnn一致的TensorRT
    我这里的版本如下
    TensorRT版本
  2. 新建文件夹TensorRT-7.0.0.11_cuda102_cudnn7_6（个人自定义的，下文均称为TensorRT目录）
  3. 将压缩包解压，解压后文件放入文件夹TensorRT-7.0.0.11_cuda102_cudnn7_6如下：
    在这里插入图片描述
  4. 将**TensorRT目录**\include下中所有头文件(*.h)，复制到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.2\include
  5. 将**TensorRT目录**\lib下所有 .lib文件复制到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.2\lib\x64
  6. 将**TensorRT目录**\lib下中所有dll文件复制到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.2\bin
  7. 完成TensorRT的安装

2.3 验证TensorRT安装：

1 . 用VS2017打开TensorRT目录\samples\sampleMNIST
在这里插入图片描述
这里如果出现找不到 Windows SDK 版本10.0.17134.0，vs目标平台版本不一致问题，按照提示下载了一个对应版本安装，问题就解决了。参考链接

  1. 用python 进入TensorRT目录\data\mnist目录，运行
python download_pgms.py

下载完后会出现.pgm文件。
在这里插入图片描述

  1. 配置VS中的运行环境。
  • 在项目属性中配置可执行文件目录：将*TensorRT目录/lib目录添加进入可执行文件目录在这里插入图片描述
    在这里插入图片描述
  1. 点击C/C++ -> 常规 -> 附加包含目录添加路径:TensorRT目录
最低0.47元/天 解锁文章
win10_yolov5_tensorRT
03-30
1，安装环境 CUDA10.2 张量RT7.2 OpenCV3.4（工程中已指定，不需安装） vs2015下载相关工程： : 2，生成yolov5s.wts文件 在生成yolov5s.wts前，首先需要模型。同时，需要我们安装环境。这里可以参考网上其他文章或github教程进行配置安装，这里不详加说明。 将tensorrtx-master\yolov5文件夹下的gen_wts.py拷贝到ultralytics/yolov5文件夹下 在当前目录下执行： python gen_wts.py 最终我们会在当前目录下得到一个yolov5s.wts文件。 3，vs2015环境建设 这里我们使用别人已经编好的库，下载连接： 。（注意：部分头文件，lib文件已在我之后的工程中命名，有需要的同学可以直接下载） 创建vs工程，命名为yolov5_Trt，重新连接tensorrtx-master
yolov5使用TensorRT进行c++部署
weixin_41311686的博客
12-29 7451
有了前面用c++进行opencv里dnn部署和onnxruntime部署的经验，使用TensorRT进行部署，我们只要了解tensorrt和cuda的一些相关api的使用即可方便的部署，整个部署流程都差不多。
Yolov5 C++ GPU部署方式介绍：ONNX Runtime
u012254599的博客
03-26 297
C++ 库，用于加速 NVIDIA 的 GPU，可以为深度学习应用提供低延迟、高吞吐率的部署推理，支持 TensorFlow，Pytorch，Caffe2 ，Paddle等框架训练出的神经网络，可以优化网络计算TensorRT官网下载地址：https://developer.nvidia.com/zh-cn/tensorrt开发者指南：https://docs.nvidia.com/deeplearning/tensorrt/developer-guide/index.html。
TensorRT 部署Yolov5模型C++
yohnyang的博客
04-03 1703
TensorRT 部署Yolov5模型C++
C++ TensorRT部署Yolov5模型
dubochao_xinxi的博客
09-30 723
这些步骤提供了一个基本的框架，您可以根据实际情况进行调整和扩展。请注意，上述代码中的一些细节可能需要根据您的具体模型和环境进行修改，如输入输出名称、内存布局、后处理等。确保正确配置CUDA环境并具备适当的GPU硬件支持。此外，您还需要根据Yolov5模型的具体设计和输出格式，进行适当的输出数据解析和后处理操作，以获取有意义的结果。建议您参考TensorRT和Yolov5的官方文档、示例代码和社区资源，以获得更详细和完整的实现指导。
C++ TensorRT部署实战：YOLOv5模型部署
奇华资料的博客
10-08 560
TensorRT是英伟达官方提供的一个高性能深度学习推理优化库，支持C++和Python两种编程语言API。通常情况下深度学习模型部署都会追求效率，尤其是在嵌入式平台上，所以一般会选择使用C++来做部署。本文将以YOLOv5为例详细介绍如何使用TensorRT的C++版本API来部署ONNX模型，使用的TensorRT版本为8.4.1.5，如果使用其他版本可能会存在某些函数与本文描述的不一致。另外，使用TensorRT 7会导致YOLOv5的输出结果与期望不一致，请注意。本文以YOLOv5。
yolov8使用tensorRT进行c++部署
01-29
在本文中，我们将深入探讨如何使用TensorRT对YOLOv8模型进行C++部署，以实现高效的计算机视觉任务，特别是X射线检测。YOLO（You Only Look Once）系列是实时目标检测领域的标志性算法，而YOLOv8作为最新版本，优化了...
yolov5_tensorrt_dll c++动态链接库接口
09-06
YOLOv5是一种高效的目标检测算法，而TensorRT则是一个优化的深度学习推理引擎，用于提高模型在GPU上的运行速度。本文将详细介绍如何将YOLOv5模型与TensorRT结合，通过C++实现动态链接库接口，以便于其他如C#、Java等...
yolov5+tensorrt安全帽检测
04-17
本项目"yolov5+tensorrt安全帽检测"结合了YoloV5和TensorRT两种强大的工具，旨在实现高效且准确的安全帽检测。 首先，YoloV5是一种流行的实时目标检测框架，全称为“You Only Look Once”的第五个版本。它的设计...
部署yolov8的tensorrt模型支持检测分割姿态估计的C++源码+部署步骤.zip
05-21
在本资源中，我们主要关注如何使用C++和TensorRT部署一个综合性的计算机视觉系统，该系统能够执行Yolov8模型的任务，包括目标检测、图像分割以及姿态估计。TensorRT是一个高性能的深度学习推理（Inference）优化器和...
tensorRT C++部署实战(yolov5/yolov8/yolov5seg/yolov8seg)
秋意为谁白的博客
08-13 1807
tensorRT是NVIDIA推出的用于深度学习模型加速的工具库,将Yolov5/Yolov8与TensorRT结合使用，可以在NVIDIA的GPU上进行高效推理。使用C++中使用TensorRT加载和运行Yolov5/Yolov8模型流程主要分为以下三步，附上代码链接：完整代码：https://download.youkuaiyun.com/download/qq_36801705/89633517。
tensorrtx-yolov5--成功编译的CMakeLists.zip
08-30
tensorrtx-yolov5--成功编译的CMakeLists
yolov5_mytest
03-19
该存储库代表Ultralytics对未来的对象检测方法的开源研究，并结合了在匿名客户数据集上数千小时的培训和发展过程中汲取的经验教训和最佳实践。所有代码和模型都在积极开发中，如有更改或删除，恕不另行通知。使用风险自负。 ** GPU速度使用批处理大小为32的V100 GPU测量超过5000张COCO val2017图像的每幅图像的端到端时间，包括图像预处理，PyTorch FP16推理，后处理和NMS。来自EfficientDet数据（批量大小为8）。 2021年1月5日： ：nn.SiLU（）激活，记录， 集成。 2020年8月13日： ：nn.Hardswish（）激活，数据自动下载，本机AMP。 2020年7月23日： ：改进了模型定义，培训和mAP。 2020年6月22日： 更新：新机头，减少了参数，提高了速度，并提高了mAP 。 2020年6月19日： 作为新的默认
Yolov5 Tensorrt win10 C++ 部署2022
QiuYuSy的博客
06-22 3400
Yolov5 Tensorrt win10 C++ 部署2022
YOLOv5 Tensorrt Python/C++部署
热门推荐
weixin_45747759的博客
04-10 2万+
YOLOv5 Tensorrt Python/C++部署 支持Windows10/Linux
『heqingchun-Ubuntu系统+x86架构+配置编译安装使用yolov5-6.0+带有TensorRT硬件加速+封装动态库+C++部署+Qt』
heqingchun16的博客
11-27 2209
Ubuntu系统+x86架构+配置编译安装使用yolov5-6.0+带有TensorRT硬件加速+封装动态库+C++部署+Qt
GPU服务器上的tensorrt环境搭建
weixin_41251668的博客
09-07 2619
GPU服务器上的tensorrt环境搭建 文章目录GPU服务器上的tensorrt环境搭建1.拉取docker服务器上的支持cuda、cudnn的镜像文件2.设置环境变量并下载相关依赖2.1安装cuda和cudnn2.2 pytorch和torchvision安装2.3 编译安装opencv4.42.4 安装pycuda2.5 tensorrt安装2.6 添加系统环境变量 在生产实际中，我们通常通过在GPU服务器上docker镜像环境搭建用于加速深度学习图像识别推理的tensorrt的环境。 1.拉取doc
使用C++部署TensorRT
wq_0708的博客
11-10 2万+
使用C++ API构建TensorRT engine
Yolov5 win10平台下的C++推理及Tensorrt部署 篇一 (共三篇)
认真努力，做一只会飞的毛毛虫。
01-23 1万+
为什么用Yolov5而不用其他的网络： 目标检测项目落地一般都是用Yolov5和YoloR来做。其一是因为精度速度确实比较牛逼，其二是因为这两个网络相对于其他的先进网络有较为成熟的C++推理方案。 因为要在Win10下部署，Linux的一些方案就不能拿来用。比如YOLOX尽管可以用C++推理，但将其pth权重转为TensorRT的engine权重却会存在问题，因为TensorRT的5.0-7.0版本只支持Linux系统。 温馨提示：我们的部署版本是Yolov5 - 4.0，Yolov5 - 5.0或6.
yolov5+tensorrt
最新发布
03-28
<think>好的，用户想了解如何将YOLOv5与TensorRT集成或优化。首先，我需要回忆相关的步骤和引用内容。根据提供的引用，特别是引用[1]和[3]，用户需要导出ONNX模型，然后使用TensorRT的转换工具生成优化后的引擎文件。 首先，YOLOv5的模型需要导出为ONNX格式。这一步可能需要注意模型的输出层，特别是NMS部分，因为TensorRT可能不支持原生的PyTorch NMS操作。引用[3]提到可能需要引入自定义插件来处理NMS，这可能会比较复杂，用户需要检查是否有现成的插件或者需要自己实现。 接下来是使用TensorRT的builder工具，比如build.py脚本，将ONNX模型转换为TensorRT引擎。引用[1]中的命令示例是`python build.py --weights yolov5s.pt --batch-size 1`，这里可能需要确认build.py是否来自YOLOv5的官方仓库或者第三方实现，用户可能需要克隆特定的仓库来获取这个脚本。 优化方面，TensorRT会进行层融合、精度校准（比如FP16或INT8量化），这些都能提升推理速度。引用[2]提到TensorRT通过优化模型提高推理速度，对实时应用很重要。用户可能需要指导他们如何开启这些优化选项，例如在转换时添加`--fp16`参数。 部署阶段，用户可能需要C++或Python的接口。引用[4]提到了C++部署所需的头文件和库文件的位置，以及示例程序。用户如果使用C++，需要链接TensorRT的库，并调用相应的API加载引擎文件进行推理。 此外，用户可能关心性能测试，比如使用trtexec工具来评估优化后的模型速度。还需要注意不同硬件上的兼容性问题，比如不同版本的TensorRT或CUDA可能影响部署。 可能遇到的问题包括ONNX导出时的错误，比如不支持的算子，这时候需要查看文档或社区解决方案。另外，INT8量化需要校准数据集，用户可能需要准备一些数据用于校准过程。 最后，应该提醒用户参考官方文档和社区资源，确保步骤正确，并在遇到问题时进行调试。可能需要分步骤详细说明，确保用户能够逐步完成集成和优化。</think>### YOLOv5与TensorRT集成及优化教程 #### 1. **模型导出为ONNX格式** - **步骤**： 1. 使用YOLOv5官方脚本导出ONNX模型： ```bash python export.py --weights yolov5s.pt --include onnx --dynamic ``` 2. 检查ONNX输出层是否符合TensorRT要求。若需自定义NMS插件（如BatchedNMS），需修改模型结构或引入插件[^3]。 - **注意**：若出现不支持的操作符（如切片操作），需调整模型结构或通过TensorRT插件实现。 --- #### 2. **生成TensorRT引擎** - **使用官方转换脚本**： ```bash python build.py --weights yolov5s.pt --batch-size 1 --fp16 # 启用FP16优化[^1] ``` - **参数说明**： - `--batch-size`: 指定推理时的批次大小。 - `--fp16`: 启用FP16精度加速（需GPU支持）。 - 若需INT8量化，需提供校准数据集并添加`--int8`参数[^2]。 --- #### 3. **TensorRT优化技术** 1. **层融合（Layer Fusion）**： - TensorRT自动合并卷积、BN、激活函数等层，减少计算量[^2]。 2. **动态形状支持**： - 导出时添加`--dynamic`参数，适配不同输入分辨率。 3. **精度校准**： - FP16：适合大多数GPU（如NVIDIA Tesla系列），速度提升显著。 - INT8：需校准数据集，精度损失可控时速度翻倍[^2]。 --- #### 4. **部署与推理** - **Python部署示例**： ```python import tensorrt as trt # 加载TensorRT引擎 with open("yolov5s.engine", "rb") as f: runtime = trt.Runtime(trt.Logger(trt.Logger.WARNING)) engine = runtime.deserialize_cuda_engine(f.read()) # 创建执行上下文 context = engine.create_execution_context() ``` - **C++部署**： - 引用头文件`NvInfer.h`和库文件`nvinfer_plugin.so`[^4]。 - 使用TensorRT C++ API加载引擎并执行推理。 --- #### 5. **性能测试与调优** - **工具**： - 使用`trtexec`测试引擎速度： ```bash trtexec --loadEngine=yolov5s.engine --shapes=input:1x3x640x640 ``` - **调优方向**： - 调整输入分辨率（如640x640→320x320）。 - 尝试不同精度模式（FP32/FP16/INT8）。 --- #### 6. **常见问题** 1. **ONNX导出失败**： - 确保PyTorch和ONNX版本兼容，禁用不支持的操作（如`Focus`层需替换为卷积）。 2. **NMS插件缺失**： - 从[TensorRT插件库](https://github.com/NVIDIA/TensorRT)编译并注册BatchedNMS插件。 3. **推理结果错误**： - 检查输入预处理（归一化、通道顺序）是否与训练一致。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值