实践教程｜Windows下基于TensorRT的YOLOV6保姆级部署教程

最新推荐文章于 2024-09-13 22:18:39 发布
最新推荐文章于 2024-09-13 22:18:39 发布
阅读量591 收藏 2
点赞数
CC 4.0 BY-SA版权
文章标签： windows YOLO
原文链接：https://mp.weixin.qq.com/s?__biz=Mzg2NzUxNTU1OA==&mid=2247525280&idx=4&sn=9ecd417d3a657415f646ca4a568ef401&chksm=ceb84e69f9cfc77f008b1fe030103e98a50bf680b4403202aa3e330a31145d35d36bfecc5b0e&scene=126&sessionid=0

作者 | willer  编辑 | 极市平台

点击下方卡片，关注“自动驾驶之心”公众号

ADAS巨卷干货，即可获取

点击进入→自动驾驶之心【模型部署】技术交流群

后台回复【模型部署工程】获取基于TensorRT的分类、检测任务的部署源码！

导读

 

基于Tensor RT的YOLOv6超详细部署教程图文版。

部署环境和相关依赖包

  • Cuda 11.0.2

  • Cudnn 8.0.4.30

  • TensorRT 8.4.0.6

  • OpenCV 4.1.1

  • VS2019

项目所需的安装包均放到到如下百度云链接：

链接：https://pan.baidu.com/s/1C4jYSKAN2P_GSpFiikhY_g

提取码：71ou

部署流程

第一步把VS2019装好，安装略，百度云提供了安装包，可自行安装

第二步Cuda安装流程如下：

8f256f27b219a0f76512794725491d23.png 48d8055a5e30dff4f2b8e570a2d44b81.png 24f335157425f03f014f19a722838f9e.png 01bd735118e98f1c8c4791baf8d3a5c7.png 688cd7cc6b2e9eef018842384b58fae5.png a3b11f212980e4565f2834931c3642d8.png b1df95de6bd6067e5fc0231615080068.png a835a91f26f473f54b26624f5260581e.png 9efb9ad097e8d82d607c2a94ee2e36ea.png

第三步：解压如上cudnn压缩包，把如下目录的文件拷贝到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.0\bin目录下

e94cfdf68af3e3603bac2b5a77d26453.png

把如下目录的文件拷贝到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.0\include目录下

f5b52bb6ff0f2de4c960680a6b87e010.png

把如下目录的文件拷贝到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.0\lib\x64目录下

61979b34c0ad5ac00d5544d7938dd9c9.png

第四步解压OpenCV和TensorRT备用

eb293a7f70bdf750fefb5e5d4e08cf77.png

安装cmake

8789294cc6bb9d791e28d007d7647a4f.png 74d7d43d451bcf8cd17ba4a6f2192750.png b175ff5f134b27a46715220d95588b1d.png f1c81b6b2961f0199661cb7ab29c128a.png fe063b8408d9c34ba89f09b7113aacd8.png 783baf964e63c606d7cbed8ba933d92f.png 31b3b9904b61d2ccb8c9715ad6ddbb84.png

第五步onnx转tensorrt引擎，流程如下：

从GitHub下载部署代码https://github.com/zhiqwang/yolov5-rt-stack 进入如下目录

a0562fac804b53370d0c612b8fa98a7c.png

编辑CMakeLists，设置OpenCV和TensorRT目录

20c56e4f90cc45c55b134a0c429b6aef.png 41f41a9ca065956c537e68d21a97eebf.png

指定CMakeLists.txt目录以及要build的目录

60ee83fb7848e17c63dd7b1784551d32.png

点击cmake的tools->Configure

0fb2786d03f3073585e15d96121218ee.png 28abe594105a58ee57d8db7ef41393a3.png 4f4e14527068f92b592d2d68675dac19.png

进入build目录，打开build工程

895874b8d04ed74782b4d592464d3979.png

选择Release

cc8faf090f7bae72203466ae2991a0fc.png

点击生成->生成解决方案，编译完成后进入生成的exe目录

a911dc6a0651f1cf1574171316fc1217.png

把tensorrt的dll文件放到exe目录下

a0c6f44b442f90143729fd40651d9f60.png

进入C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.0\bin目录把以下8个dll拷贝到exe目录

  • cublas64_11.dll

  • cublasLt64_11.dll

  • cudart64_110.dll

  • cudnn_cnn_infer64_8.dll

  • cudnn_ops_infer64_8.dll

  • cudnn64_8.dll

  • nvrtc64_110_0.dll

  • nvrtc-builtins64_110.dll

f87bebbe74dfeb7f03acfcd1cf641e0a.png

把官方的提供的onnx模型放到exe目录

2314d2e557461091888bad819afbbdef.png

在exe目录打开命令行，输入build_model.exe yolov6n.onnx yolov6n.engine生成tensorrt引擎

第六步tensorrt引擎推理流程如下：

进入D:\yolov6\yolov5-rt-stack\deployment\tensorrt-yolov6目录编辑CMakeLists，设置OpenCV和TensorRT目录

acb80bfe0afc8c669b7ab0edb2295a72.png

打开桌面上的cmake,设置tensorrt推理代码的CMakeLists.txt路径以及要build的目录

653cde66f57c664259ee1f89c2fb7fe0.png

点击cmake的tools->Configure

c70faf6e24aad4d5492e198c3fea42bd.png 01090617f22faa027f678053b1da3b12.png

点击Generate

f96fc0c1127ec8ed6bffe266ed533dbc.png

打开build工程，选择release，点击生成->生成解决方案，生成tensorrt推理的exe

f6be6f22e53021dca45b920bfe83c611.png ac246efe8b1890a44e816aeeeab40b63.png 57b19aa762e6e9466e1bcb02b678f133.png

进入生成tensorrt引擎的exe目录（上一次build的目录）

d0c01572e44fd43acd53eff7b38fee5d.png

拷贝dll以及tensorrt推理引擎到tensorrt推理的exe目录（当前build的目录）

1b7e2f179ddfe7fa3e426b383ab480b5.png

把OpenCV的opencv_world411.dll拷贝到推理exe目录

eb08dc5c29b711059ed66a68c3d882ff.png c41240ba66dc301e7cab0ed72d15eb5e.png

在推理exe目录打开命令行，输入推理命令yolov6.exe -model_path yolov6n.engine -image_path zidane.jpg指定推理引擎路径以及推理图片路径，在推理exe目录生成推理可视化结果

7dd2fdb1a68cc580efbc89accf483724.png 580d021876603cb7abc8ea3af4ac0b48.png

ef9139e9727008932679bc7bdeb12234.png

【自动驾驶之心】全栈技术交流群

自动驾驶之心是首个自动驾驶开发者社区，聚焦目标检测、语义分割、全景分割、实例分割、关键点检测、车道线、目标跟踪、3D目标检测、BEV感知、多传感器融合、SLAM、光流估计、深度估计、轨迹预测、高精地图、NeRF、规划控制、模型部署落地、自动驾驶仿真测试、硬件配置、AI求职交流等方向；

9e7157ed207439fa80ac8c52071d69c1.jpeg

添加汽车人助理微信邀请入群

备注：学校/公司+方向+昵称

yolov8实战第六天——yolov8 TensorRT C++ 部署——（踩坑，平坑，保姆教程）
qq_34717531的博客
01-17 1万+
TensorRT 通过优化深度学习模型来提高推理速度，减少延迟。这对于实时处理应用（如视频分析、机器人导航等）至关重要。：TensorRT 优化了模型以在GPU上高效运行，这意味着更低的内存占用和更高的吞吐量。对于资源受限的环境或在多任务并行处理的情况下，这是一个显著优势。：C++ 是一种跨平台语言，配合 TensorRT，可以在多种硬件和操作系统上部署深度学习模型，包括嵌入式设备和服务器。：TensorRT 提供了精确的数学和统计方法来减少浮点运算误差，这对于确保深度学习应用的准确性和稳定性至关重要。
yolov8实战第三天——yolov8TensorRT部署（python推理）（保姆教学）
qq_34717531的博客
12-26 2万+
TensorRT是一种，可以为深度学习应用提供的部署推理。TensorRT可用于对超大规模数据中心、嵌入式平台或自动驾驶平台进行推理加速。TensorRT现已能支持TensorFlow、Caffe、Mxnet、Pytorch等几乎所有的深度学习框架，将TensorRT和NVIDIA的GPU结合起来，能在几乎所有的框架中进行快速和高效的部署推理。一般的深度学习项目，训练时为了加快速度，会使用多GPU分布式训练。
如何用TensorRT部署YOLOv6
DeepDriving
07-01 1135
本文详细介绍了使用TensorRT部署YOLOv6的过程。
03-机器学习之YOLOv6安装部署（采用Pycharm部署，保姆级带图操作）
weixin_43282101的博客
09-09 2962
本文所要部署的YOLOv6为美团公司开源的工业应用研发的目标检测框架，采用Pycharm进行部署，保姆级带图操作
使用TensorRT对Yolov6进行部署
豫州刺史
12-19 227
之前介绍过ONNX，ONNX是一种针对机器学习所设计的开放式的文件格式，用于存储训练好的模型。可以使得在Pytorch、Tensorflow或其他框架下训练好的模型采用相同的格式来存储模型数据并进行交互。
部署实战 | 手把手教你在Windows下用TensorRT部署YOLOv8
CV_Autobot的博客
02-12 8003
作者|‍feiyull 编辑| 集智书童点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取1、加速结果展示1.1 性能速览????快速看看yolov8n 在移动端RTX2070m(8G)的新能表现：modelvideo resolutionmodel input sizeGPU Memory-UsageGPU-Utilyolov8n1920x10808x3x640x6401093...
【YOLOv6详细部署、训练自己的数据集（超多BUG踩坑记录）】
uuhhy的博客
11-01 4194
最近看到美团发表的YOLOv6论文，其速度可达1234FPS，便想尝试部署测试，并训练自己的数据集，谁知官方克隆的源码BUG百出，在部署的过程中页看到其他学者也遇到相同BUG困扰，有一些BUG官方也没给出明确的解决方案。在结合其他学者的经验以及自己的理解后，本人成功完成了模型的全系列部署包括：训练、评价及推理，（后续TensorRT加速持续更新），特将踩坑记录做以总结，但愿能帮助新手避坑。
五、yolov8 tensorRT c++部署及接口封装（保姆级教程&附源码）
机器视觉、深度学习、C++、opencv、halcon、图像算法
04-25 2423
onnx转engine保姆级教程，附带源码
九、yolov8 tensorRT c++目标检测部署和推理（保姆级教程&附源码）
机器视觉、深度学习、C++、opencv、halcon、图像算法
06-26 695
yolov8 tensorRT c++目标检测部署和推理（保姆级教程&附源码），目标检测部署，目标检测c++推理，c++推理源码
Win10 系统下部署yolov5-V6.0版本的tensorrt加速推理环境（保姆级填坑版）
yezlin的博客
11-04 1402
Win10 系统下部署yolov5-V6.0版本的tensorrt加速推理环境（保姆级填坑版）
（23）目标检测算法之YOLOv6 (1)全流程指南：环境安装、模型配置、训练及推理
yohnyang的博客
07-02 4831
目标检测算法之YOLOv6 (1)全流程指南：环境安装、模型配置、训练及推理
python3.8.2安装教程-在服务器上安装python3.8.2环境
weixin_37988176的博客
11-01 266
在服务器上安装python3.8.2环境博客说明文章所涉及的资料来自互联网整理和个人总结，意在于个人学习和经验汇总，如有什么地方侵权，请联系本人删除，谢谢！官网3.8.2下载地址下载安装下载好了之后上传到服务器上或者在服务器上通过命令下载wget https://www.python.org/ftp/python/3.8.2/Python-3.8.2.tgz执行安装解压文件tar -xvzf Py...
YOLOv6 Tensorrt Python部署教程
weixin_45747759的博客
07-06 2236
利用Tensorrt部署美团YOLOv6
YoloV6+TensorRT+ONNX:基于WIN10+TensorRT8+YoloV6+ONNX的部署
qianxun
06-27 1995
上周就听说v6出来了，心想特么的不会和v7一样吧，看了具体是美团推出的，具体大家自己看看吧YOLOv6 是美团视觉智能部研发的一款目标检测框架，致力于工业应用。本框架同时专注于检测的精度和推理效率，在工业界常用的尺寸模型中：YOLOv6-nano 在 COCO 上精度可达 35.0% AP，在 T4 上推理速度可达 1242 FPS；YOLOv6-s 在 COCO 上精度可达 43.1% AP，在 T4 上推理速度可达 520 FPS。在部署方面，YOLOv6 支持 GPU（TensorRT）、CPU（OP
（24）目标检测算法之YOLOv6 (2)量化与部署详解
yohnyang的博客
07-02 2442
目标检测算法之YOLOv6 量化与部署详解
【亲测免费】 YOLOv6 安装与配置指南 - 小白也能轻松上手
gitblog_09669的博客
09-13 551
YOLOv6 安装与配置指南 - 小白也能轻松上手 项目基础介绍及编程语言 YOLOv6 是一个专为工业应用设计的单阶段目标检测框架，它基于YOLO系列进行了全面升级，强调了在实际产业环境中的高效性与实用性。此项目采用Python为主要编程语言，并利用PyTorch深度学习框架来实现其算法逻辑。 关键技术和框架 PyTorch: 强大的深度学习库，支持动态计算图，便于模型的研发与调试。 YOLO...
mmpose PyTorch模型转TensorRT
linghu8812的博客
03-06 1498
文章目录mmpose PyTorch模型转TensorRT1. github开源代码2. PyTorch模型转ONNX模型3. ONNX模型转TensorRT模型3.1 概述3.2 编译3.3 运行4. 推理结果 mmpose PyTorch模型转TensorRT 1. github开源代码 yolov5 TensorRT推理的开源代码位置在https://github.com/linghu8812/tensorrt_inference/tree/master/mmpose，PyTorch转onnx的代码是
Windows 上基于 TensorRT 的 YOLOV6 部署保姆级教程
02-11 248
Windows 上基于 TensorRT 的 YOLOV6 部署保姆级教程
手把手教你运行YOLOv6（超详细）
热门推荐
恐龙先生的博客
06-28 3万+
YOLOv6 是美团视觉智能部研发的一款目标检测框架，致力于工业应用。本框架同时专注于检测的精度和推理效率，在工业界常用的尺寸模型中：YOLOv6-nano 在 COCO 上精度可达 35.0% AP，在 T4 上推理速度可达 1242 FPS；YOLOv6-s 在 COCO 上精度可达 43.1% AP，在 T4 上推理速度可达 520 FPS。在部署方面，YOLOv6 支持 GPU（TensorRT）、CPU（OPENVINO）、ARM（MNN、TNN、NCNN）等不同平台的部署，极大地简化工程部署时的
yolov5部署保姆级
最新发布
07-03
### YOLOv5 部署详细步骤教程 YOLOv5 是一种高效的实时目标检测模型，其部署流程主要包括以下几个关键步骤：环境准备、模型导出、推理引擎配置、以及实际的推理执行（如图片或视频处理）。以下是详细的部署指南。 --- #### 1. 环境准备 在开始部署之前，需要准备好开发和运行环境。推荐使用 Linux 系统（如 Ubuntu）进行部署，并安装以下依赖项： - **CUDA** 和 **cuDNN**：用于 GPU 加速。 - **TensorRT**：用于优化模型推理性能。 - **OpenCV**：用于图像预处理与结果显示。 - **CMake** 和 **NVIDIA JetPack SDK**（如果是嵌入式设备）。 确保所有必要的库版本兼容，例如 CUDA 11.7 与 TensorRT 8.6 的组合[^1]。 --- #### 2. 模型导出 YOLOv5 支持多种格式的模型导出，包括 ONNX 和 TensorRT 引擎文件。 ##### 导出 ONNX 格式 ```bash yolo export model=yolov5s.pt format=onnx ``` ##### 使用 TensorRT 构建引擎 将 `.onnx` 文件转换为 TensorRT 引擎文件： ```bash trtexec --onnx=yolov5s.onnx --saveEngine=yolov5s.engine ``` 此命令会生成一个经过优化的 `yolov5s.engine` 文件，适用于高性能推理。 --- #### 3. 推理执行 完成模型导出后，可以使用生成的 `.engine` 文件进行推理任务，支持对图像、视频等输入进行目标检测。 ##### 测试单张图片 ```bash ./yolov5_v -d ../yolov5s.engine i ../sample/ ``` 该命令会对指定目录下的图片进行推理并输出结果[^1]。 ##### 测试视频文件 ```bash ./yolov5_v -d ../yolov5s.engine v ../test1.mp4 ``` 此命令会对指定的视频文件逐帧进行目标检测，并显示或保存结果。 --- #### 4. 性能优化 为了进一步提升推理效率，可以采用以下策略： - **FP16 或 INT8 推理**：通过量化降低计算资源消耗。 - **多线程处理**：并行处理多个输入流，提高吞吐量。 - **批处理（Batching）**：一次处理多个图像以充分利用 GPU 资源。 --- #### 5. 常见问题与调试 - **模型精度下降**：检查是否在导出过程中丢失了某些层或参数。 - **GPU 内存不足**：尝试减少 batch size 或使用 FP16/INT8 推理。 - **推理速度慢**：确认 TensorRT 是否正确配置并启用优化选项。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值