量化PTQ QAT

最新推荐文章于 2025-08-31 15:50:18 发布
转载 最新推荐文章于 2025-08-31 15:50:18 发布 · 250 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：http://www.bryh.cn/a/337445.html
文章标签：

#量化

博客围绕量化技术展开，涉及PTQ和QAT相关内容。量化是信息技术领域重要技术，PTQ和QAT在其中发挥关键作用，能提升系统性能和效率。

http://www.bryh.cn/a/337445.html

魇餍
关注
【算能】训练后量化（PTQ）深度解析
浩瀚之水的专栏
04-03 1197
PTQ是平衡效率与精度的核心技术，尤其适合边缘计算与实时推理场景。在算能TPU生态中，结合TPU-MLIR工具链与硬件级优化，开发者可快速实现模型轻量化。关键成功因素包括：​校准数据代表性、敏感层保护策略及硬件特性匹配。对于精度要求严苛的任务，建议后续探索QAT或混合精度方案。
Post-Training-Quantization（PTQ）
qq_44089890的博客
04-08 2680
Post-Training-Quantization（PTQ）是一种在训练后对量化进行的技术，它可以将原始的浮点模型转换为适合于边缘设备的低比特宽度（如8位或4位）的固定点模型。该技术可以减小模型的大小，并且可以在一定程度上加速模型的推理速度。PTQ通常分为以下几个步骤：训练模型：首先需要使用浮点模型在大规模数据集上进行训练，以获得高精度的模型。收集统计信息：在训练后，需要使用代表性数据集来收集模型的统计信息，例如权重的最大值和最小值，激活值的分布等。
模型量化（二）—— 训练后量化PTQ（全代码）
全栈O-Jay的博客
03-13 1万+
训练后量化（Post-training Quantization，PTQ）是一种常见的模型量化技术，它在模型训练完成之后应用，旨在减少模型的大小和提高推理速度，同时尽量保持模型的性能。训练后量化对于部署到资源受限的设备上，如移动设备和嵌入式设备，特别有用。
深度学习模型量化：从 PTQ 到 QAT 的深入解析---part A
weixin_42072959的博客
12-09 2569
AI模型进行边缘计算一般可以进行量化以提高计算效率，PTQ是在模型训练完成后，对模型参数和激活值进行量化的技术。由于无需修改训练过程，其实现简单且开销低。然而，PTQ会在量化过程中引入近似误差，可能导致模型精度下降。QAT通过在训练过程中模拟量化操作，让模型逐步适应量化误差，从而在量化后仍能保持较高精度。其训练过程与标准训练类似，但在每次前向传播中引入了量化和反量化操作。
YOLOv7-PTQ量化部署
周同学的博客
10-22 2438
YOLOv7-PTQ量化部署
深度学习量化总结（PTQ、QAT）
Sriven的博客
04-27 9840
并不是所有的模型，都很适合量化。在实际的生产环境中，我们经常会遇到一些模型，量化之后精度不好，其根本原因是因为浮点阶段的模型并不适合量化。这里说明一些常见的不适合量化的浮点情况。在实际执行的时候，可以通过 debug 工具去发现模型当中不适合量化的部分。受限于量化的方法和编译器的限制，目前量化的 op 实现，会有一些限制或者误差。这种算子的误差一般有两种体现，第一种是 QAT 的时候精度会有影响（情况很少），第二种是 QAT 转 Quantized 的时候精度会有影响。
深度学习量化双雄：PTQ 与 QAT 的技术剖析与实战
m0_51738372的博客
08-31 406
《深度学习量化技术：PTQ与QAT的实用指南》 本文系统介绍了FP32模型量化至INT8的两大核心技术。量化可带来4倍的模型压缩与算力提升，主要包括训练后量化(PTQ)和量化感知训练(QAT)两种方案。PTQ无需训练，通过统计权重/激活极值确定量化参数，但精度损失1-3%；QAT在训练中模拟量化误差，精度损失<0.5%，但需额外训练。实践建议：已训练模型用PTQ，精度敏感或新训练模型用QAT。量化参数(scale/zero-point)在推理时作为常量吸收，不增加计算开销。
精选资源
yolov8 PTQ和QAT量化源码
12-09
1.使用pytorch_quantization对yolov8进行量化: 包括ptq量化、敏感层分析、qat量化 2.修改ptq、qat、敏感层分析配置参数后直接运行 python yolov8_ptq_int8.py 其中： （1） quant_flow_ptq_int8.py是PTQ int8量化...
一文了解模型量化中的QAT和PTQ
热门推荐
m0_38043555的博客
06-27 2万+
一文了解模型量化中的QAT和PTQ 由于前一段时间在做模型的转换工作，实际部署的时候需要一些模型加速的方法，常用的有各家的inference框架，如mnn,tnn,tensorrt等，这些框架除了fp32精度外，都支持了int8的精度，而量化到int8常常可以使我们的模型更小更快，所以在部署端很受欢迎。 常用的模型量化方式有训练中量化，QAT,和训练后量化，PTQ，之前转trt时，用的就是PTQ，在一些常用的模型上表现还不错，几乎没有什么掉点，但是在复杂模型，如带有swish的模型啊，或者nas搜出来的模型
精选资源
基于yolov5的PTQ和QAT量化完整代码
03-18
1. quant_flow_ptq_int8.py是PTQ int8量化脚本 2. quant_flow_qat_int8.py 是QAT int8量化脚本 3. quant_flow_ptq_sensitive_int8.py 是敏感层分析的脚本
训练后量化(PTQ) 工作流理解
LF_AI的博客
07-07 7233
目前神经网络在许多前沿领域的应用取得了较大进展，但经常会带来很高的计算成本，对内存带宽和算力要求高。另外降低神经网络的功率和时延在现代网络集成到边缘设备时也极其关键，在这些场景中模型推理具有严格的功率和计算要求。神经网络量化是解决上述问题有效方法之一，但是模型量化技术的应用会给模型带来额外噪音，从而导致精度下降，因此工程师对模型量化过程的理解有益于提高部署模型的精度。本文...
PTQ量化和QAT量化
牵一只蜗牛去散步
10-19 2420
使用一批校准数据对训练好的模型进行校准，将训练好的FP32网络直接转换为定点计算的网络，过程中无需对原始模型进行任何训练，而只对几个超参数调整就可完成量化过程。（计算每一层的scale）同时TensorRT还会进行图优化，当一个OP设置为Int8精度，但其与另一个OP合并会导致速度更快时，TensorRT就会将两个OP合并，并忽略用户设置的INT8精度。使用QAT量化时，会为权重值和激活值插入Q节点（量化节点，FP32→INT8）和DQ节点（反量化节点，INT8→FP32）来模拟量化的过程。
基于Python与PyQT的智能校园安全防御与健康监测系统_集成人脸识别口罩检测门禁管理与MySQL数据库的综合性校园安全软件_旨在通过百度AI接口实现高精度人脸登录注册实时监控校.zip
12-20
基于Python与PyQT的智能校园安全防御与健康监测系统_集成人脸识别口罩检测门禁管理与MySQL数据库的综合性校园安全软件_旨在通过百度AI接口实现高精度人脸登录注册实时监控校.zip
遥感监测基于Sentinel-2的铁氧化物指数反演：孟加拉国加济布尔地区2024年地表铁含量时空分布分析
12-20
内容概要：本文介绍了一个基于Google Earth Engine（GEE）平台的Sentinel-2遥感影像处理流程，用于计算孟加拉国加济布尔地区2024年度的铁氧化物含量指数（Ferrous Iron Index, FII）。流程包括区域选取（基于FAO GAUL行政区划数据）、加载并过滤Sentinel-2地表反射率（S2_SR）影像、结合云概率图层（MSK_CLDPRB）与场景分类图层（SCL）进行云与阴影掩膜处理，随后逐景计算FII指数（使用B12、B8、B3、B4波段），生成年度中值合成影像与月度时间序列。同时，提取每月FII均值用于绘制趋势折线图，并添加交互式图例展示FII强度分级。最后支持将结果导出至Google Drive。; 适合人群：从事遥感、环境监测或地理信息系统的科研人员及技术人员，具备一定GEE平台JavaScript脚本编写经验者；; 使用场景及目标：①实现矿区、土壤或地质变化监测中的铁氧化物分布分析；②构建长时间序列遥感指数分析流程；③学习GEE中影像集合操作、时间序列分析与可视化方法；; 阅读建议：建议结合GEE开发环境实际运行脚本，逐步调试各阶段输出，重点关注云掩膜逻辑、FII计算公式及月度统计实现方式，并可根据研究区调整参数复用该流程。
（23页PPT）智慧农业农产品质量安全监管方案.pptx
12-20
（23页PPT）智慧农业农产品质量安全监管方案.pptx
【顶级EI完整复现】DRCC考虑N-1准则的分布鲁棒机会约束低碳经济调度（Matlab代码实现）
12-20
【顶级EI完整复现】【DRCC】考虑N-1准则的分布鲁棒机会约束低碳经济调度（Matlab代码实现）内容概要：本文介绍了名为《【顶级EI完整复现】【DRCC】考虑N-1准则的分布鲁棒机会约束低碳经济调度（Matlab代码实现）》的技术资源，聚焦于电力系统中低碳经济调度问题，结合N-1安全准则与分布鲁棒机会约束（DRCC）方法，提升调度模型在不确定性环境下的鲁棒性和可行性。该资源提供了完整的Matlab代码实现，涵盖建模、优化求解及仿真分析全过程，适用于复杂电力系统调度场景的科研复现与算法验证。文中还列举了大量相关领域的研究主题与代码资源，涉及智能优化算法、机器学习、电力系统管理、路径规划等多个方向，展示了广泛的科研应用支持能力。; 适合人群：具备一定电力系统、优化理论和Matlab编程基础的研究生、科研人员及从事能源调度、智能电网相关工作的工程师。; 使用场景及目标：①复现高水平期刊（如EI/SCI）关于低碳经济调度的研究成果；②深入理解N-1安全约束与分布鲁棒优化在电力调度中的建模方法；③开展含新能源接入的电力系统不确定性优化研究；④为科研项目、论文撰写或工程应用提供可运行的算法原型和技术支撑。; 阅读建议：建议读者结合文档提供的网盘资源，下载完整代码与案例数据，按照目录顺序逐步学习，并重点理解DRCC建模思想与Matlab/YALMIP/CPLEX等工具的集成使用方式，同时可参考文中列出的同类研究方向拓展研究思路。
derfulwang_pandas_note_5092_1766045771839.zip
12-20
derfulwang_pandas_note_5092_1766045771839.zip
【电力负荷预测】基于K近邻回归的MATLAB实现：多特征融合与模型优化用于短期电力需求预测系统设计 项目介绍 MATLAB实现基于K近邻回归（KNN）进行电力负荷预测（含模型描述及部分示例代码）
12-20
内容概要：本文详细介绍了一个基于MATLAB实现的电力负荷预测项目，采用K近邻回归（KNN）算法进行建模。项目从背景意义出发，阐述了电力负荷预测在提升系统效率、优化能源配置、支撑智能电网和智慧城市建设等方面的重要作用。针对负荷预测中影响因素多样、时序性强、数据质量差等挑战，提出了包括特征工程、滑动窗口构造、数据清洗与标准化、K值与距离度量优化在内的系统性解决方案。模型架构涵盖数据采集、预处理、KNN回归原理、参数调优、性能评估及工程部署全流程，并支持多算法集成与可视化反馈。文中还提供了MATLAB环境下完整的代码实现流程，包括数据加载、归一化、样本划分、K值选择、模型训练预测、误差分析与结果可视化等关键步骤，增强了模型的可解释性与实用性。; 适合人群：具备一定MATLAB编程基础和机器学习基础知识，从事电力系统分析、能源管理、智能电网或相关领域研究的研发人员、工程师及高校师生；适合工作1-3年希望提升实际项目开发能力的技术人员； 使用场景及目标：①应用于短期电力负荷预测，辅助电网调度与发电计划制定；②作为教学案例帮助理解KNN回归在实际工程中的应用；③为新能源接入、需求响应、智慧能源系统提供数据支持；④搭建可解释性强、易于部署的轻量级预测模型原型； 阅读建议：建议结合MATLAB代码实践操作，重点关注特征构造、参数调优与结果可视化部分，深入理解KNN在时序数据中的适应性改进方法，并可进一步拓展至集成学习或多模型融合方向进行研究与优化。
1212338883_2402103_11.1.1.15_20251008185337_2017100604_a.apk
最新发布
12-20
1212338883_2402103_11.1.1.15_20251008185337_2017100604_a.apk
PTQ QAT
12-08
### PTQ详细介绍 #### 原理 PTQ即训练后量化，没有反向传播不进行权重更新，前向传播只是用来统计。其核心是在训练图里插入FakeQuant节点，公式为$w_q = round(clip(w / scale)) * scale$ 。前向过程模拟量化误差，反向传播时采用STE把梯度直接传给FP32权重。PTQ不依赖原始训练过程，只需对模型进行少量样本的统计与校准即可完成，通过分析权重和激活的统计分布，寻找一个最优的量化映射，使离散化误差最小化。PTQ没有反向传播不进行weight更新，前向只是用来统计，伪量化对PTQ来说可有可无 [^3][^4]。 #### 应用场景 适用于模型已训练好，且对精度要求不苛刻的场景。当模型需要快速部署到边缘设备，且能够接受一定的精度损失时，PTQ是一个不错的选择。它可以在不进行大规模重新训练的情况下，快速将模型进行量化，减小模型大小并提升推理速度 [^3]。 ### QAT详细介绍 #### 原理 QAT即量化感知训练，需要插入QAT算子且需要训练进行微调。流程为准备一个预训练模型，在模型中添加QAT算子，微调带有QAT算子的模型，将微调后模型的量化参数（q - params）存储下来，最后量化模型执行推理。在训练时采用伪量化，因为如果不使用伪量化，由于导数为0无法进行梯度更新。在训练图里插入FakeQuant节点，前向模拟量化误差，反向传播时STE把梯度直接传给FP32权重，让网络学会“抗量化”。其粒度方面，默认权重是per - channel，激活是per - tensor，最新研究中scale/zero - point亦可作为可学习参数进行端到端更新 [^2][^3]。 #### 应用场景 适用于精度敏感，可接受再训练的场景。当模型对精度要求较高，且有足够的训练资源（如完整训练集和GPU时间）时，QAT能够在量化的同时保证模型精度几乎无损，支持4 - bit超低比特量化 [^3]。 以下是PyTorch中QAT的示例代码： ```python import torch, torchvision, torch.quantization as tq model = torchvision.models.resnet18(pretrained=True) model.train() tq.prepare_qat(model, qconfig=tq.get_default_qat_qconfig('fbgemm')) opt = torch.optim.AdamW(model.parameters(), 1e-4) # 假设train_loader是训练数据加载器 for x, y in train_loader: loss(model(x), y).backward() opt.step() torch.jit.save(tq.convert(model.eval()), 'qat.pt') ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值