Windows下使用tensorrt配置YOLOv8进行加速

Windows下使用tensorrt配置YOLOv8进行加速

致谢:

win10下 yolov8 tensorrt模型加速部署【实战】 - 知乎 (zhihu.com)

yolov8 tensorrt 实战之先导_哔哩哔哩_bilibili

FeiYull/TensorRT-Alpha: 🔥🔥🔥TensorRT for YOLOv8、YOLOv8-Pose、YOLOv8-Seg、YOLOv8-Cls、YOLOv7、YOLOv6、YOLOv5、YOLONAS…🚀🚀🚀CUDA IS ALL YOU NEED.🍎🍎🍎 (github.com)

本次部署的流程是pytorch转换为onnx再转换为trt

配套资源文件下载地址:待更新

前期准备

安装vs2019

直接默认在C盘安装,防止后续出错

vs2019的下载地址位于:[Downloads & Keys - Visual Studio Subscriptions](https://my.visualstudio.com/Downloads?q=Visual Studio 2019)

需要登录之后才可以进行下载,不要使用太新的,太新的会导致未知的问题出现。

image-20240330183835589

安装cuda和cudnn以及tensorrt

cuda安装直接也选择在默认目录即可,安装的时候请选择默认目录,防止不必要的麻烦,并且需要先安装vs再安装cuda,这样可以直接把插件加入到vs中,后面使用非常方便。

image-20240330185146947

安装之后首先可以在C盘该目录下找到安装好的cuda组件

image-20240330185243077

并且在命令行中输入nvcc -V之后会显示cuda对应的版本信息。

image-20240330185319341

image-20240330185421642

tensorrt移动到F盘中,并将lib目录添加到系统环境变量中。

image-20240330185818146

Opencv安装并添加环境变量

之后安装opencv并将其添加到系统环境变量中,注意此处需要添加两个环境变量。

image-20240330190130625

进行tensorrt的测试

直接打开官方提供的mnist数据集的测试、

image-20240330190824210

重新生成解决方案

image-20240330190919783

测试成功!!!!

image-20240330191113058

创建属性表

属性表创建之后后续我们直接进行属性表的添加即可,对于新项目而言非常之方便。

tensorrt属性表

首先随便创建一个c++的空项目

image-20240330191315200

创建新的属性表

image-20240330191600663

点击属性表,在添加对应的依赖。

包含目录中添加tensorrt对应的依赖文件,注意这个位置有三个库文件

image-20240330210128559

库目录中添加对应的lib目录

image-20240330192147425

然后在链接器的输入中添加对应的lib文件,所有的lib文件都添加进来

image-20240330192351015

在预处理器中添加对应指令_CRT_SECURE_NO_WARNINGS:

image-20240330192701321

opencv属性表

包含目录,.h文件

image-20240330193536451

库目录,lib文件

image-20240330193640719

链接器文件中添加对应的链接器文件,带d的表示debug模式

image-20240330194135523

cuda属性表在这个位置,直接添加现成的即可

image-20240330194451579

项目测试

直接在当前的解决方案中新建空项目,分别是原始代码中的yolov8中和utils文件中以及tensorrt的官方示例中拷贝对应的文件加载到项目中来,按照x64的形式进行生成,因为我是先安装的cuda所以导致,可能有加载不到的问题,所以最好是先安装vs再安装cuda,非常方便之。

image-20240330214431886

编译生成exe之后,直接执行下列指令可以对模型进行预测。

app_yolov8.exe  --model=../../data/yolov8/yolov8n.trt --size=640 --batch_size=1  --img=../../data/6406407.jpg   --show --savePath
Project2.exe  --model=yolov8n.trt --size=640 --batch_size=1  --img=000110.jpg  --show --savePath

Project2.exe  --model=yolov8n.trt --size=640 --batch_size=8  --video=demo.mp4  --show --savePath=../

预测效果如下所示:

image-20240330213724458

### 回答1: 很抱歉,我是一名语言模型AI,无法进行操作和编程。但是,我可以为您提供一些相关信息。TensorRT是一种高性能深度学习推理库,可以加速模型的推理速度。YoloV5是一种目标检测算法,可以用于检测图像或视频中的物体。在Windows使用TensorRT加速YoloV5,您需要先安装TensorRTYoloV5,并将YoloV5模型转换为TensorRT格式。然后,您可以使用TensorRT API加载和推理模型,从而加速YoloV5的推理速度。具体操作步骤可以参考TensorRTYoloV5的官方文档。 ### 回答2: TensorRT是NVIDIA为深度学习框架提供的高性能推理引擎。YoloV5是一种经典的目标检测算法,具有较高的准确率和实时性能。在Windows系统中,使用TensorRT可以加速YoloV5的推理速度,以实现更高效的目标检测。 要在Windows使用TensorRT加速YoloV5,需要执行以下几个步骤: 1. 安装TensorRT和深度学习框架:在Windows系统中,TensorRT可以通过官方网站下载安装包进行安装。目前,TensorRT支持PyTorch、TensorFlow等多种深度学习框架,用户应根据自己的需要选择合适的框架。 2. 编译YoloV5:YoloV5的源代码可以从官方GitHub库中获取。在Windows系统中,需要使用Visual Studio等工具编译源代码,并生成可执行文件。 3. 应用TensorRT进行推理加速:将编译后的YoloV5可执行文件加载至TensorRT中,并使用NVIDIA GPU进行推理加速。 在使用TensorRT加速YoloV5时需要注意的一些问题: 1. 版本兼容性:TensorRT和深度学习框架的不同版本可能存在兼容性问题,用户需要根据官方文档提供的信息选择合适的版本。 2. TensorRT配置:用户需要根据自己的硬件配置和应用场景,对TensorRT引擎进行合理的配置。主要包括模型优化、内存使用方式、线程数等方面。 3. 精度损失:使用TensorRT进行推理加速可能会导致精度的损失,用户需要评估自己的应用场景,权衡速度和精度之间的平衡。 综上所述,使用TensorRT加速YoloV5是一种有效的推理加速方法,在Windows系统中也可以实现。用户需要根据自己的实际需求和硬件配置,选择合适的TensorRT版本和深度学习框架,进行相关的配置和优化,以获得最佳的性能和精度。 ### 回答3: 近年来,深度学习在计算机视觉领域得到广泛应用,如物体检测、图像分类等。其中,Yolo系列算法以其速度快、效果好、精度高等优点受到了广泛关注和应用。但是,Yolo系列算法在运行速度方面还有提升的空间。此时,选用TensorRT工具可以对Yolo系列算法进行优化加速TensorRT是Nvidia针对深度学习推理领域开发的一款高性能优化工具,可以将训练好的深度学习模型进行优化后加速模型推理的过程,可以显著提高推理速度和效率。而Yolov5算法是基于PyTorch框架实现的,因此TensorRT需要与PyTorch框架进行结合使用。由于TensorRTWindows系统中的使用不太友好,本文将对如何在Windows使用TensorRT加速Yolov5算法进行详细解释。 首先,搭建深度学习环境:安装pytorch、Cuda、cudnn等环境及其依赖项; 其次,生成ONNX模型文件:使用Pytorch训练好的Yolov5模型需要转化为ONNX格式,这个可以使用torch.onnx.export()函数进行转换。 然后,生成TensorRT模型文件:在生成ONNX模型的基础上使用TensorRT的创建推理引擎工具create_inference_engine.py进行转换。 最后,利用TensorRT加速推理过程:在代码中使用TensorRT推理引擎,并比较与未使用TensorRT加速时的运行时间。 需要注意的是,在使用TensorRT优化Yolov5模型时需要调整一些参数,例如batch size、max workspace size等,以及根据硬件环境进行优化,可参考TensorRT官方文档和案例。 总的来说,使用TensorRT可以显著提高Yolov5算法的推理速度和效率,对于实时热点视频监控、智能安防等方面的应用具有重要意义。同时,TensorRTWindows系统上的使用虽然存在一些不便,但只要按照步骤进行操作,还是能够顺利完成优化加速过程。
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

肆十二

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值