【YOLO】模型推理&模型量化

已于 2023-08-02 12:16:51 修改
阅读量936 收藏 1
点赞数
分类专栏： 机器学习 文章标签： YOLO
于 2023-07-31 15:38:38 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/m0_37556124/article/details/132020541
版权
本文介绍了将YOLO模型从PyTorch转换为ONNX，再转化为TensorRT模型的过程，详细阐述了每个步骤，包括模型导出、Netron Viewer的使用、TensorRT的安装与模型转换，并探讨了模型的FP16和INT8量化推理，进行了性能测试。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

【YOLO】模型推理&模型量化

上一章 yolov5+TensorRT推理

文章目录

前言

目前YOLO最新的对象检测模型系列，最新版已经发展到YOLOv8, YOLOV8模型更快、更准确，具有实例分割、姿势/关键点估计和分类等增强功能。

在这里插入图片描述

一、pt转onnx模型

1.1 下载yolov5

git clone https://github.com/ultralytics/yolov5
pip install -r yolov5/requirements.txt

了解本专栏 订阅专栏 解锁全文 超级会员免费看
推理优化：从量化到裁剪，提高模型性能
AI天才研究院
12-26 295
1.背景介绍 在深度学习模型的应用中，优化模型性能至关重要。模型性能的优化主要包括两个方面：训练阶段的优化和推理阶段的优化。训练阶段的优化主要通过优化算法、优化器、学习率等手段来提高模型的准确性和训练速度。而推理阶段的优化则主要通过对模型进行压缩、剪枝等手段来提高模型的推理速度和模型大小，从而实现在资源有限的设备上进行更高效的模型推理。
paddle 43 用onnxruntime实现ppyoloe模型的部署（含python和c++版本）
a486259的博客
11-29 1475
PP-YOLOE+是PP-YOLOE模型的升级版，PP-YOLOE+_l在COCO test-dev2017达到了53.3的mAP, 同时其速度在Tesla V100上达到了78.1 FPS。PP-YOLOE+_s/m/x同样具有卓越的精度速度性价比。paddle官方只给出了基于paddle框架的部署案例，为了更好的部署，为此实现将paddle模型转换为onnx模型，然后在python下实现onnxruntime部署。后续会补充c++ onnxruntime部署
大模型基础技术理论第三章：模型量化与推理优化
beifeng20200101的博客
09-20 1365
量化的主要目标是在不显著降低模型性能的前提下，通过降低表示的精度，减少模型在推理过程中的计算负荷和内存占用。模型量化（Quantization）是一种常用的优化技术，它的核心思想是将模型的权重和激活值从高精度的浮点数（如32位浮点数）压缩为低精度表示（如8位或更低），从而减少计算复杂性和存储成本。传统的量化方法仅考虑模型权重的量化，而忽略了激活值的变化范围。通过这种方式，AWQ 能够在模型量化中更准确地捕捉激活值的变化，从而提升量化模型的精度和计算效率，特别适合资源受限的设备应用，如移动设备和嵌入式系统。
大模型学习路线（5）—— 大模型压缩（量化、剪枝、蒸馏、低秩分解），推理（vllm）
热门推荐
qq_51175703的博客
05-05 1万+
一、模型压缩目标：（1）减少模型显存占用；（2）加快推理速度；（3）减少精度损失。 二、模型压缩算法分类（如何降低权重和激活成本）：（1）模型量化（quantization（2）参数剪枝（pruning）（3）知识蒸馏（knowledge distillation）
【KAWAKO】MNN-使用量化后的模型进行推理（c++）
本平台停止更新，后续文章将在个人博客blog.kawako.fun发布
04-29 1884
目录 下文需要include的MNN库和自带库 创建会话 输入数据 获取输入tensor 数据处理 将处理后的数据存入Tensor 运行会话 获取输出 使用CMakeLists.txt进行编译 路径目录 编译过程 下文需要include的MNN库和自带库 #include <MNN/ImageProcess.hpp> #define MNN_OPEN_TIME_TRACE #include <algorithm> #include <fstre...
2.1 ppq量化pytorch-＞onnx
weixin_45063703的博客
10-29 597
torchvision中加载一个模型，转换为 onnx 格式、导出 quantized graph.
TensorRT INT8 量化YOLO模型—— trtexec
old_power的博客
01-23 1571
TensorRT 提供了 `trtexec` 工具，可以方便地将模型转换为 TensorRT 引擎，并支持 INT8 量化。`trtexec` 是一个命令行工具，适用于快速测试和部署模型，尤其适合对 ONNX 或 UFF 格式的模型进行量化和优化。
TensorRT INT8 量化YOLO模型—— python
old_power的博客
01-23 722
TensorRT 是 NVIDIA 提供的高性能深度学习推理库，支持 INT8 量化以加速模型推理。TensorRT 支持从 ONNX 格式的模型进行量化。首先需要将 YOLO 模型导出为 ONNX 格式。
TensorRT-Yolo模型QAT量化感知训练+deepstream+tensorrt部署-支持Yolov7+Yolov4
10-21
TensorRT-Yolo模型QAT量化感知训练+DeepStream+TensorRT部署，是一项针对深度学习领域的优质算法部署项目。本项目重点支持了两个主流的深度学习目标检测模型，即Yolov7和Yolov4。在深度学习模型的实际应用中，模型的...
yolo模型推理速度
最新发布
02-02
### YOLO模型推理速度评测 YOLOv8相较于YOLOv5，在大多数情况下表现出更好的性能[^1]。然而，具体到推理速度方面的影响因素众多，包括但不限于硬件配置、软件环境以及具体的实现细节。 对于不同版本的YOLO模型而言...
基于YOLOv7-tiny.pt模型实现opencv dnn cpp进行推理源码+说明文档.rar
04-15
1、资源内容：基于YOLOv7-tiny.pt模型实现opencv dnn cpp进行推理源码+说明文档.rar 2、适用人群：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业或毕业设计，作为“参考资料”使用。 3、更多仿真源码和数据集下载列表（自行寻找自己需要的）：https://blog.youkuaiyun.com/m0_62143653?type=download 4、免责声明：本资源作为“参考资料”而不是“定制需求”不一定能够满足所有人的需求，需要有一定的基础能够看懂代码，能够自行调试，能够自行添加功能修改代码。由于作者大厂工作较忙，不提供答疑服务，如不存在资源缺失问题概不负责，谢谢理解。
算法模型在Aidlux端的模型推理测试实现详解
m0_54361461的博客
11-12 1058
算法模型在Aidlux端的模型推理测试实现详解
ubuntu18一文学会Pytorch端到端网络部署Tensorrt模型推理
Stay_Foo_lish的博客
02-21 2222
本文主要以Pytorch-Unet和antipodal robotic grasping为例，讲解了如何在上述网络中部署tensorrt。通过部署这两种网络，可以举一反三学会所有端到端网络的部署方式。
模型推理时间与FPS计算（YOLO系列与MMdetection系列） 干货笔记 ！！
weixin_62495450的博客
05-26 7484
深度学习：模型的推理时间与FPS计算的介绍，并且有详细的YOLO系列与MMdetection系列的FPS计算实现方法
dali预处理-yolov5trt推理-pytorch后处理-nvidia-triton部署
weixin_43645801的博客
12-26 1574
triton-yolov5搭建
yolov5三种TensorRT推理过程
mdd优快云的博客
02-20 749
4、把生成的yolov5l_best.wts文件导入\tensorrtx-yolov5-v5.0\yolov5\build\Release文件下，使用指 令yolov5.exe -s yolov5l_best.wts yolov5l_best.engine l 通过yolov5.exe生成yolov5l best.engine，参数l根据训练模型来改，可以是s\m\I\x。
[Paddle Detection]基于PP-YOLOE+实现道路场景目标检测及部署
一名在读大学生，正在学习深度学习，会定期分享一些该领域内容。欢迎大家一起交流学习~
12-27 4332
该项目着眼于基于视觉深度学习的自动驾驶场景，旨在对车载摄像头采集的视频数据进行道路场景解析，为自动驾驶提供一种解决思路。利用YOLO系列模型PP_YOLOE+完成车辆检测实现一种高效高精度的道路场景解析方式,从而实现真正意义上的自动驾驶，减少交通事故的发生，保障车主的人身安全。数据集地址视频数据： 超过1,100小时的100000个高清视频序列在一天中许多不同的时间，天气条件，和驾驶场景驾驶经验。视频序列还包括GPS位置、IMU数据和时间戳。道路目标检测。
一个识别闯红灯的项目（修改Detect.py文件，搭建Yolov5识别GUI）
weixin_63132747的博客
05-22 1447
将Yolov5的Detect.py文件当作函数调用，结合Pyqt5搭建简易识别GUI
yolov5的运行环境配置、参数修改和训练命令，并将训练的pt模型转换为rknn模型，并推理
weixin_43167279的博客
02-26 4797
yolov5的运行环境配置、参数修改和训练命令，并将训练的pt模型转换为rknn模型，并推理
详细介绍 yolo 量化、剪枝、蒸馏
04-01
YOLO（You Only Look Once）是一种基于深度学习的目标检测算法，其特点是速度快，准确率高。然而，YOLO也存在一些问题，例如模型过大、计算量大、运行速度慢等。为了解决这些问题，可以采用量化、剪枝和蒸馏等技术。 量化是将浮点数参数转换为低精度的整数或定点数的过程。在YOLO中，使用量化技术可以减少模型的大小和计算量，提高模型的运行速度。例如，可以使用8位整数表示权重和激活函数输出，这样可以将模型的大小缩小四倍以上。 剪枝是一种减少神经网络中冗余参数的技术。在YOLO中，可以通过剪枝技术减少模型中的冗余连接和节点，从而减少模型的大小和计算量。例如，可以使用L1或L2正则化方法对权重进行剪枝，去除一些不必要的连接和节点。 蒸馏是一种基于知识蒸馏的技术，可以从一个大模型中提取出知识，转移到一个小模型中。在YOLO中，可以使用蒸馏技术将一个大模型的知识转移到一个小模型中，从而使得小模型具有和大模型相近的性能。例如，可以使用温度参数和软标签方法进行蒸馏，将大模型的知识转移到小模型中。 综上所述，量化、剪枝和蒸馏是优化YOLO模型的重要技术手段，可以提高模型的运行速度和准确率，同时减少模型的大小和计算量。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

IDONTCARE8

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值