YOLOv8 PTQ与QAT量化实战：从理论到源码详解

最新推荐文章于 2025-10-23 10:19:14 发布
最新推荐文章于 2025-10-23 10:19:14 发布
阅读量212 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： YOLO系列模型有效涨点改进 文章标签： YOLO 深度学习 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_51988935/article/details/151782671

YOLOv8 PTQ与QAT量化实战：从理论到源码详解

深入理解模型量化核心技术，让目标检测模型在资源受限设备上高效运行

本文将全面探讨YOLOv8模型的两种量化技术：训练后量化（PTQ）和量化感知训练（QAT）。通过深入的理论分析、完整的代码实现和详细的实践指南，帮助读者彻底掌握这些技术，实现模型压缩与加速的最佳平衡。

1 量化技术理论基础

1.1 量化的数学原理

量化本质上是将连续无限范围的浮点数值映射到离散有限范围的整数值的过程。形式化表示为：

Q(x)=round(xΔ)+ZQ(x) = \text{round}\left(\frac{x}{\Delta}\right) + ZQ(

了解本专栏 订阅专栏 解锁全文 超级会员免费看
yolov8 PTQ和QAT量化源码
12-09
1.使用pytorch_quantization对yolov8进行量化: 包括ptq量化、敏感层分析、qat量化 2.修改ptq、qat、敏感层分析配置参数后直接运行 python yolov8_ptq_int8.py 其中： （1） quant_flow_ptq_int8.py是PTQ int8量化脚本 （2） quant_flow_qat_int8.py 是QAT int8量化脚本 （3）quant_flow_ptq_sensitive_int8.py 是敏感层分析的脚本
yolov8 PTQ和QAT量化实战(源码详解)
@bangbang的博客
01-07 4848
量化（）：是指将高精度浮点数(FP32)转换为低精度(8bit或4bit)整数的过程，它是模型部署中的一种非常重要的优化方法，可以在较少的精度损失下，大幅提供神经网络的效率和性能。目前主流的神经网络量化方式有PTQ和QATPTQ是训练后量化()，无需数据集和训练，直接量化模型权重QAT是量化感知训练()，量化后需要在数据集上继续微调训练。QAT过程中，我们首先需要选择哪些层需要进行finetune训练，并利用FP32对应层的输出作为监督进行训练。
YOLOv8 PTQ、QAT量化及其DepGraph剪枝等压缩与加速推理有效实现（含代码）
qq_40102732的博客
07-17 1110
YOLOV8(Pose)模型的PTQ、QAT、DepGraph剪枝等压缩及其TensorRT推理加速有效实现（涵盖代码）
一.Yolov8量化感知训练微调(QAT)第一篇:QAT原理和微调训练流程
boboly186的博客
09-23 1259
量化感知训练（QAT）是一种先进技术，它弥合了高精度浮点模型与适用于资源受限硬件部署的高效低精度整数模型之间的差距。在原先检测模型背景下，QAT使模型能够保持其检测精度，同时通过TensorRT优化显著提高推理性能。量化是将模型权重和激活值从高精度（通常是32位浮点）转换为低精度（如8位整数）的过程。减少内存占用：INT8模型所需的内存比FP32模型少约4倍更快推理：在大多数硬件上，整数运算的计算成本更低且速度更快能源效率：低精度计算消耗更少的电量，使其成为移动设备和边缘设备的理想选择。
一.Yolov8量化感知训练微调(QAT)第二篇: 单batch和多batch导出onnx和engine模型 (Tensorrt推理)
boboly186的博客
10-11 1254
一.最最最重要的官方ultralytics量化速度信息 二.设置onnx模型导出的输出头数量和输出头维度 三. 设置单batch和多batch的onnx模型导出 四. onnx导出为tensorrt的engine模型 五. 验证tensorrt的engine模型 六. 额外知识点
一.Yolov8量化感知训练微调(QAT)第三篇: 感知量化训练QAT,onnx导出,engine导出
最新发布
boboly186的博客
10-23 907
int8 --fp16: 启用INT8（8位整数）和–fp16量化精度, 对不支持量化的层默认转fp16. 如果模型finetune时, 全部层都做了int8量化, 那么只需要–int8即可;–workspace=4096 : 转engine模型用到, 模型小可以设置1024, 但如果模型大, 要设置大一些, 例如2048, 4096, 8192等,但不能大于GPU显存大小.可以自行设置, 例如设置成768 1024, 即导出的onnx模型的h=768, w=1024.有些层转量化会影响精度.
yolov5的pqt、qat量化---1（知识准备工作）
qq_41920323的博客
10-29 892
讲解yolov5的ptq和qat量化过程，共两篇文章，此为第一篇，所用知识讲解
RK3588的YoloV8模型的量化优化技术
weixin_46747526的博客
03-02 2085
需要结合训练时的伪量化步骤，比如在TensorFlow中插入伪量化节点，然后导出模型，再使用RKNN-Toolkit2进行转换，这时候可能不需要再做量化，或者需要调整参数。1、缘由：将YOLOV8训练出的模型pt转换为onnx后再通过一定数量的样本图像进行量化，虽然可通过增加量化样本图像的方法得到一定的改善，但是增加太多的样本数量出现量化不能完成的现象（100多张），会发现识别精度也很难上去。也就是在训练过程中就考虑量化带来的影响，这样模型在训练时会模拟量化过程，让模型在量化后精度损失更小。
YOLOv8模型ONNX格式INT8量化轻松搞定
金戈鐡馬
11-11 1万+
学会用C++部署YOLOv5与YOLOv8对象检测，实例分割，姿态评估模型，TorchVision框架下支持的Faster-RCNN，RetinaNet对象检测、MaskRCNN实例分割、Deeplabv3 语义分割模型等主流深度学习模型导出ONNX与C++推理部署，轻松解决Torchvision框架下模型训练到部署落地难题。深度学习模型量化支持深度学习模型部署框架支持的一种轻量化模型与加速模型推理的一种常用手段，ONNXRUNTIME支持模型的简化、量化等脚本操作，简单易学，非常实用。
七. 部署YOLOv8检测器-quantization-analysis
周同学的博客
09-15 1902
七. 部署YOLOv8检测器-quantization-analysis
YOLOv8 PTQ量化实战
gulingfengze的博客
09-20 1566
YOLOv8的PTQ量化实战
yolov8 Onnx 模型的静态量化和动态量化
.NET 人工智能实践
09-19 5094
yolov8 Onnx 模型的静态量化和动态量化 静态量化 def quantize_static 函数定义
YOLO系列模型的部署、精度对齐与int8量化加速
我爱计算机视觉
11-06 624
关注公众号，发现CV技术之美本文为粉丝投稿。大家好，我是海滨。写这篇文章的目的是为宣传我在23年初到现在完成的一项工作---Yolo系列模型在TensorRT上的部署与量化加速，目前以通过视频的形式在B站发布（不收费，只图一个一剑三连）。麻雀虽小但五脏俱全，本项目系统介绍了YOLO系列模型在TensorRT上的量化方案，工程型较强，我们给出的工具可以实现不同量化方案在Yolo系列模型的量化部署，无...
YOLO v8 服务器 训练过程记录 外置摄像头实时检测
weixin_37672002的博客
09-24 1891
YOLO v8 服务器 训练过程记录 外置摄像头实时检测
Yolov8原理详细解析！一文看懂
热门推荐
穿着帆布鞋也能走猫步
08-30 10万+
Yolov8原理详细解析
【yolov8系列】 yolov8 目标检测的模型剪枝
magic_ll的博客
12-20 1万+
有框架完成的对网络所有结构都自适应剪枝是最佳的，但这里没有详细记录torch-pruning的yolov8的剪枝，是因为存在不解 对其yolov8具体的剪枝代码中操作：“比较疑惑 replace_c2f_with_c2f_v2(model.model)的梯度置为Fasle，是因为该层是解析box时的一个向量，具体的为 [0,1,2,3,4,5,6,7,8,9,10,11,12,13,14,15]，为了便捷的将该处理保存在模型中，所以就定义了一个卷积，所以该卷积不需要梯度、不需要反向传播，所以该层的。
深度学习量化双雄：PTQ 与 QAT 的技术剖析与实战
m0_51738372的博客
08-31 394
《深度学习量化技术：PTQ与QAT的实用指南》 本文系统介绍了FP32模型量化至INT8的两大核心技术。量化可带来4倍的模型压缩与算力提升，主要包括训练后量化(PTQ)和量化感知训练(QAT)两种方案。PTQ无需训练，通过统计权重/激活极值确定量化参数，但精度损失1-3%；QAT在训练中模拟量化误差，精度损失<0.5%，但需额外训练。实践建议：已训练模型用PTQ，精度敏感或新训练模型用QAT。量化参数(scale/zero-point)在推理时作为常量吸收，不增加计算开销。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值