YOLOv8 Tensorrt部署详细介绍（小白从0到1，不会你砍我）

已于 2023-10-09 11:31:56 修改
阅读量3.4k 收藏 26
点赞数 5
CC 4.0 BY-SA版权
文章标签： YOLO
于 2023-10-08 15:29:37 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Candy_Rainbow_/article/details/133669218
本文介绍了如何在Tensorrt环境下下载YOLOv8项目，将.pt模型转换为.wts，配置CMake并生成引擎文件，最后进行本地视频推理的过程。作者提醒读者在CMake配置过程中可能遇到的问题及注意事项。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

笔者使用环境：

        Tennsorrt8.6.1.6

        CUDA11.7

下载YOLOv8项目和Tensorrt部署项目

git clone https://github.com/xiaocao-tian/yolov8_tensorrt.git
git clone https://github.com/ultralytics/ultralytics.git

下载yolov8s模型

在YOLOv8项目中新建weights文件夹，将yolov8s.pt放入

运行tensorrt项目中gen_wts.py文件，将pt文件转成wts文件，如上图

在tensorrt项目中新建weights文件夹，将wts文件复制过来，如下图

在tensorrt项目中新建build文件夹，然后使用cmake编译，注意tensorrt项目中Cmakelist.txt需要按照自己的实际情况（其中笔者在这步踩了很多坑，差点劝退，希望大家不要轻言放弃）

set设置为本地电脑上的OpenCV和Tensorrt绝对路径，例如：

修改其中两个路径即可，接着打开cmake

依次点击Configure，Generate，Open Project

找到main.cpp

找到源码

其中将  wts_name = “” 注释掉就是生成engine文件，取消注释便是推理

先取消注释得到engine文件，如上图所示（此过程大概需要十分钟）

打开注释，修改自己待检测的视频路径，本地调试，运行成功

YOLOV8的tensorrt部署详解(目标检测模型-cpp)
weixin_38252409的博客
10-27 990
基于读者需求，我写了一篇YOLOV8的tensorrt部署内容，我将会使用2篇文章介绍，其一基于onnx转tensorrt的cpp部署内容，其二也是基于onnx转tensorrt的cuda部署内容。本文是基于cpp的tensorrt部署内容，该部分内容包含yolov8的环境安装、基于目标检测yolov8的训练与推理内容、onnx格式转换与格式说明、yolov8的onnx转engine方法和代码解读、yolov8部署tensorrt代码解读。
yolov8实战第六天——yolov8 TensorRT C++ 部署——（踩坑，平坑，保姆教程）
qq_34717531的博客
01-17 1万+
TensorRT 通过优化深度学习模型来提高推理速度，减少延迟。这对于实时处理应用（如视频分析、机器人导航等）至关重要。：TensorRT 优化了模型以在GPU上高效运行，这意味着更低的内存占用和更高的吞吐量。对于资源受限的环境或在多任务并行处理的情况下，这是一个显著优势。：C++ 是一种跨平台语言，配合 TensorRT，可以在多种硬件和操作系统上部署深度学习模型，包括嵌入式设备和服务器。：TensorRT 提供了精确的数学和统计方法来减少浮点运算误差，这对于确保深度学习应用的准确性和稳定性至关重要。
YOLOv8的TensorRT 的量化及部署
Levante_ceo的博客
07-20 4504
编译。
tensorrt部署yolov8
m0_61888756的博客
08-26 833
1：trtexec.exe --onnx=best.onnx --saveEngine=best.engine --fp16 tensorrt库命令转换，过程中会遇到一些问题，这里不细讲了，可以查。看了一下，engine = runtime.deserialize_cuda_engine(f.read())这句的engine也是none，根本没有东西。记录一下部署过程遇到的问题，我是要再jstson上部署，首先导出onnx文件，没什么问题，然后又两种方案转为engine文件。将字节数据解码为字符串，然后。
YOLOv8 TensorRT 部署（Python 推理）保姆级教程
最新发布
ydscc的博客
03-21 1448
Python 进行 TensorRT 推理
yolov8的TensorRT部署（C++版本）
liujiahao123987的博客
10-17 6442
yolov8的TensorRT部署（C++版本）
yolov8 模型部署--TensorRT部署-c++服务化部署
ljn1046016768的博客
09-11 4463
YOLOv8的3个检测头一共有80x80+40x40+20x20=8400个输出单元格，每个单元格包含x,y,w,h这4项再加80个类别的置信度总共84项内容，所以通过上面命令导出的onnx模型的输出维度为。这样的通道排列顺序有个问题，那就是后处理的时候会造成内存访问不连续。为了解决这个问题，我们可以修改一下代码，具体做法是把。yolov8 模型部署测试。
yolov8实战——yolov8TensorRT部署（python推理）（保姆教学）
qq_44224801的博客
07-05 2066
最近用到yolov8，但是寻找了一圈才找到了yolov8最佳的部署方法，限于python，所以在此进行总结记录，方便众人，看完此篇，不会纯属自己问题，与我无瓜0.0。
yolov8实战第三天——yolov8TensorRT部署（python推理）（保姆教学）
热门推荐
qq_34717531的博客
12-26 2万+
TensorRT是一种，可以为深度学习应用提供的部署推理。TensorRT可用于对超大规模数据中心、嵌入式平台或自动驾驶平台进行推理加速。TensorRT现已能支持TensorFlow、Caffe、Mxnet、Pytorch等几乎所有的深度学习框架，将TensorRT和NVIDIA的GPU结合起来，能在几乎所有的框架中进行快速和高效的部署推理。一般的深度学习项目，训练时为了加快速度，会使用多GPU分布式训练。
Yolov8-tensorrt部署学习笔记--windows
qq_49497497的博客
03-02 1014
文如其名，主要用来记录一些学习过程，为以后在想起来用的时候不用在网络上各种寻找相关资料。其中所有内容均参考了网络上可获取的资料，目前为**
使用C++部署yolov11目标检测的tensorrt模型支持图片视频推理演示源码+项目说明
10-02
该项目不仅提供了源码，还包括了详细的项目说明文档，帮助开发者了解如何部署和运行YOLOv11模型在TensorRT上。开发者可以通过提供的博文地址深入了解项目的具体实现细节和部署步骤。 在进行目标检测时，YOLOv11模型...
使用TensorRT C++部署YOLOv10实现GPU加速-C++源码与模型
06-04
该代码将演示如何使用NVIDIA TensorRT C++ API 部署YOLOv10目标检测模型，实现模型推理加速。经过测试，推理可以实现2ms所有，全流程包含前后处理仅有15ms左右。 此处提供了项目源码以及模型文件。
模型部署+目标检测YOLOv5+tensorrt加速 - int8量化
02-27
由于C++语言的运行优势，多数算法模型在实际应用时需要部署到C++环境下运行，以提高算法速度和稳定性 本文主要讲述WIn10下在VS工程中通过Opencv部署yolov5模型，步骤包括： 1.python环境下通过export.py导出.onnx...
基于yolov5，部署通过TensorRT加速，帧率可达200FPS可以检测人是否佩戴口罩源码+详细文档 +全部资料+高分项目.zip
12-20
本项目基于yolov5，部署通过TensorRT加速，帧率可达200FPS源码+详细文档 +全部资料+高分项目.zip 【备注】 1、该项目是个人高分项目源码，已获导师指导认可通过，答辩评审分达到95分 2、该资源内项目代码都经过测试...
yolov8pose移植部署版本便于移植不同平台(onnx、tensorRT、rknn、Horizon)源码.zip
10-07
yolov8pose移植部署版本便于移植不同平台(onnx、tensorRT、rknn、Horizon)源码.zipyolov8pose移植部署版本便于移植不同平台(onnx、tensorRT、rknn、Horizon)源码.zipyolov8pose移植部署版本便于移植不同平台(onnx、...
Win10下用tensorRT部署yolov8
weixin_46924966的博客
04-06 560
在此本人只是记录自己在配置中遇到的一些问题与大家分享。，官方给的推荐是Windows10.x86_64.cuda-11.6.cudnn8.4，自己根据要求下载了各版本的cudnn8.4。但是在cudnn8.4版本下，TensorRT-8.4.2.4提供的例程sampleMNIST出现报错。虽然在cudnn8.2.1.32版本下，TensorRT-8.4.2.4提供的例程sampleMNIST不会报错，但是TensorRT-8.4.2.4提供的trtexec.exe文件却不能正常运行。
YOLOv8 Tensorrt Python/C++部署详解
充满焦虑的大学生
05-09 2126
按照大佬的方法进行部署，但是中间出现了很多问题，这里进行一下总结。YOLOv8 Tensorrt Python/C++部署教程_yolo 安装tensorrt-优快云博客。
TensorRT 部署 YOLOv8 目标检测、关键点检测、实例分割、目标跟踪
zi_y_uan的博客
05-30 1346
先把 YOLOv8 的目标检测、关键点检测、实例分割模型转为 ONNX 模型，再基于 TensorRT-v8，把 ONNX 模型转为 TensorRT 序列化模型文件，实现 TensorRT 部署 YOLOv8
部署实战 | 手把手教你在Windows下用TensorRT部署YOLOv8
CV_Autobot的博客
02-12 7976
作者|‍feiyull 编辑| 集智书童点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取1、加速结果展示1.1 性能速览????快速看看yolov8n 在移动端RTX2070m(8G)的新能表现：modelvideo resolutionmodel input sizeGPU Memory-UsageGPU-Utilyolov8n1920x10808x3x640x6401093...
yolov8模型部署GPU平台
03-18
<think>好的，我现在需要帮助用户了解如何将YOLOv8模型部署到GPU平台上。首先，我应该回顾一下用户提供的引用内容，看看有没有相关的信息可以直接使用。用户提供了四个引用，其中引用[1]、[2]、[3]、[4]都是关于YOLO系列模型在GPU上的环境部署、训练和推理加速的内容。特别是引用[1]和[3]提到了CUDA环境的配置，引用[2]提到了TensorRT的应用，引用[4]则介绍了ONNX Runtime的C++部署方式。 接下来，我需要整理出一个步骤清晰的教程，涵盖环境配置、模型导出、推理加速以及可能的部署方式。用户可能对步骤的详细程度有较高需求，尤其是作为小白用户，所以需要分步骤解释，并确保命令和路径正确。 首先，环境部署部分需要包括CUDA、cuDNN、PyTorch的安装。引用[1]和[3]提到了CUDA v11.6和v12.4的路径，说明用户可能已经安装了不同版本的CUDA，需要注意版本兼容性。PyTorch需要与CUDA版本对应，比如PyTorch 2.0+对应CUDA 11.8或12.x。 然后，模型导出部分需要将YOLOv8模型转换为ONNX格式，可能需要安装ultralytics库，并运行export命令。这部分需要确保用户正确安装相关库，并理解导出参数的作用。 接下来是推理加速，引用[2]提到了TensorRT，这是一个常用的加速工具。需要指导用户安装TensorRT，并使用trtexec工具转换ONNX模型到TensorRT引擎。同时，引用[4]提到ONNX Runtime，这也是一种部署方式，特别是对于C++部署，可能需要生成ONNX模型后用ONNX Runtime加载。 此外，还需要考虑部署方式的选择，比如Python直接推理、TensorRT加速或ONNX Runtime。不同方式适用于不同场景，比如开发测试阶段可能用Python，生产环境可能需要C++和TensorRT。 用户可能遇到的问题包括CUDA版本与PyTorch不兼容、模型导出时的错误、TensorRT安装的复杂性等。需要提醒用户注意版本匹配，并参考官方文档。 最后，生成相关问题，帮助用户进一步学习，比如性能优化、多GPU部署、模型量化等。这些问题应该覆盖用户可能感兴趣的后续步骤。</think>### YOLOv8模型GPU部署教程 #### 一、环境准备 1. **CUDA与cuDNN安装** - 安装与GPU型号匹配的CUDA工具包（推荐CUDA 11.6-12.4）[^1][^3] ```bash # 验证CUDA安装 nvcc --version ``` - 下载对应版本的cuDNN，将`bin`、`include`、`lib`文件复制到CUDA安装目录（如`C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.6`） 2. **PyTorch GPU版本安装** ```bash # 选择与CUDA版本匹配的PyTorch pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 # CUDA 11.8示例 ``` 3. **YOLOv8依赖库安装** ```bash pip install ultralytics onnx onnxruntime-gpu tensorrt ``` #### 二、模型导出与转换 1. **导出PyTorch模型** ```python from ultralytics import YOLO model = YOLO("yolov8n.pt") # 加载预训练模型 ``` 2. **转换为ONNX格式** ```python model.export(format="onnx", imgsz=640, simplify=True) ``` 生成文件：`yolov8n.onnx` 3. **转换为TensorRT引擎（可选加速）[^2]** ```bash trtexec --onnx=yolov8n.onnx --saveEngine=yolov8n.engine --fp16 ``` #### 三、推理部署方式 1. **Python直接推理** ```python results = model.predict("input.jpg", imgsz=640) results[0].show() ``` 2. **TensorRT加速推理** ```python from ultralytics import YOLO model = YOLO("yolov8n.engine") # 加载TensorRT引擎 model.predict("input.jpg") ``` 3. **ONNX Runtime部署（C++示例）[^4]** ```cpp #include <onnxruntime_cxx_api.h> Ort::Session session(env, L"yolov8n.onnx", Ort::SessionOptions{}); // 具体实现需包含预处理和后处理逻辑 ``` #### 四、验证部署效果 1. 检查GPU利用率： ```bash nvidia-smi # 应显示python进程占用显存 ``` 2. 对比推理速度： - CPU推理：约200ms/帧 - GPU推理：约10ms/帧（RTX 3090） #### 五、常见问题排查 1. **CUDA版本不匹配** - 错误提示：`Detected CUDA version mismatch` - 解决方案：通过`conda install cuda -c nvidia`指定版本 2. **TensorRT安装失败** - 参考[NVIDIA开发者文档](https://docs.nvidia.com/deeplearning/tensorrt/developer-guide/index.html)手动安装 3. **ONNX模型加载失败** - 检查导出参数是否包含动态维度： ```python model.export(..., dynamic=True) # 允许动态输入尺寸 ```
评论 19
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值