量化PTQ QAT

最新推荐文章于 2025-08-31 15:50:18 发布
转载 最新推荐文章于 2025-08-31 15:50:18 发布 · 250 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：http://www.bryh.cn/a/337445.html
文章标签：

#量化

博客围绕量化技术展开，涉及PTQ和QAT相关内容。量化是信息技术领域重要技术，PTQ和QAT在其中发挥关键作用，能提升系统性能和效率。

http://www.bryh.cn/a/337445.html

魇餍
关注
【算能】训练后量化（PTQ）深度解析
浩瀚之水的专栏
04-03 1197
PTQ是平衡效率与精度的核心技术，尤其适合边缘计算与实时推理场景。在算能TPU生态中，结合TPU-MLIR工具链与硬件级优化，开发者可快速实现模型轻量化。关键成功因素包括：​校准数据代表性、敏感层保护策略及硬件特性匹配。对于精度要求严苛的任务，建议后续探索QAT或混合精度方案。
Post-Training-Quantization（PTQ）
qq_44089890的博客
04-08 2680
Post-Training-Quantization（PTQ）是一种在训练后对量化进行的技术，它可以将原始的浮点模型转换为适合于边缘设备的低比特宽度（如8位或4位）的固定点模型。该技术可以减小模型的大小，并且可以在一定程度上加速模型的推理速度。PTQ通常分为以下几个步骤：训练模型：首先需要使用浮点模型在大规模数据集上进行训练，以获得高精度的模型。收集统计信息：在训练后，需要使用代表性数据集来收集模型的统计信息，例如权重的最大值和最小值，激活值的分布等。
模型量化（二）—— 训练后量化PTQ（全代码）
全栈O-Jay的博客
03-13 1万+
训练后量化（Post-training Quantization，PTQ）是一种常见的模型量化技术，它在模型训练完成之后应用，旨在减少模型的大小和提高推理速度，同时尽量保持模型的性能。训练后量化对于部署到资源受限的设备上，如移动设备和嵌入式设备，特别有用。
深度学习模型量化：从 PTQ 到 QAT 的深入解析---part A
weixin_42072959的博客
12-09 2570
AI模型进行边缘计算一般可以进行量化以提高计算效率，PTQ是在模型训练完成后，对模型参数和激活值进行量化的技术。由于无需修改训练过程，其实现简单且开销低。然而，PTQ会在量化过程中引入近似误差，可能导致模型精度下降。QAT通过在训练过程中模拟量化操作，让模型逐步适应量化误差，从而在量化后仍能保持较高精度。其训练过程与标准训练类似，但在每次前向传播中引入了量化和反量化操作。
YOLOv7-PTQ量化部署
周同学的博客
10-22 2438
YOLOv7-PTQ量化部署
深度学习量化总结（PTQ、QAT）
Sriven的博客
04-27 9840
并不是所有的模型，都很适合量化。在实际的生产环境中，我们经常会遇到一些模型，量化之后精度不好，其根本原因是因为浮点阶段的模型并不适合量化。这里说明一些常见的不适合量化的浮点情况。在实际执行的时候，可以通过 debug 工具去发现模型当中不适合量化的部分。受限于量化的方法和编译器的限制，目前量化的 op 实现，会有一些限制或者误差。这种算子的误差一般有两种体现，第一种是 QAT 的时候精度会有影响（情况很少），第二种是 QAT 转 Quantized 的时候精度会有影响。
深度学习量化双雄：PTQ 与 QAT 的技术剖析与实战
m0_51738372的博客
08-31 406
《深度学习量化技术：PTQ与QAT的实用指南》 本文系统介绍了FP32模型量化至INT8的两大核心技术。量化可带来4倍的模型压缩与算力提升，主要包括训练后量化(PTQ)和量化感知训练(QAT)两种方案。PTQ无需训练，通过统计权重/激活极值确定量化参数，但精度损失1-3%；QAT在训练中模拟量化误差，精度损失<0.5%，但需额外训练。实践建议：已训练模型用PTQ，精度敏感或新训练模型用QAT。量化参数(scale/zero-point)在推理时作为常量吸收，不增加计算开销。
精选资源
yolov8 PTQ和QAT量化源码
12-09
1.使用pytorch_quantization对yolov8进行量化: 包括ptq量化、敏感层分析、qat量化 2.修改ptq、qat、敏感层分析配置参数后直接运行 python yolov8_ptq_int8.py 其中： （1） quant_flow_ptq_int8.py是PTQ int8量化...
一文了解模型量化中的QAT和PTQ
热门推荐
m0_38043555的博客
06-27 2万+
一文了解模型量化中的QAT和PTQ 由于前一段时间在做模型的转换工作，实际部署的时候需要一些模型加速的方法，常用的有各家的inference框架，如mnn,tnn,tensorrt等，这些框架除了fp32精度外，都支持了int8的精度，而量化到int8常常可以使我们的模型更小更快，所以在部署端很受欢迎。 常用的模型量化方式有训练中量化，QAT,和训练后量化，PTQ，之前转trt时，用的就是PTQ，在一些常用的模型上表现还不错，几乎没有什么掉点，但是在复杂模型，如带有swish的模型啊，或者nas搜出来的模型
精选资源
基于yolov5的PTQ和QAT量化完整代码
03-18
1. quant_flow_ptq_int8.py是PTQ int8量化脚本 2. quant_flow_qat_int8.py 是QAT int8量化脚本 3. quant_flow_ptq_sensitive_int8.py 是敏感层分析的脚本
训练后量化(PTQ) 工作流理解
LF_AI的博客
07-07 7233
目前神经网络在许多前沿领域的应用取得了较大进展，但经常会带来很高的计算成本，对内存带宽和算力要求高。另外降低神经网络的功率和时延在现代网络集成到边缘设备时也极其关键，在这些场景中模型推理具有严格的功率和计算要求。神经网络量化是解决上述问题有效方法之一，但是模型量化技术的应用会给模型带来额外噪音，从而导致精度下降，因此工程师对模型量化过程的理解有益于提高部署模型的精度。本文...
PTQ量化和QAT量化
牵一只蜗牛去散步
10-19 2421
使用一批校准数据对训练好的模型进行校准，将训练好的FP32网络直接转换为定点计算的网络，过程中无需对原始模型进行任何训练，而只对几个超参数调整就可完成量化过程。（计算每一层的scale）同时TensorRT还会进行图优化，当一个OP设置为Int8精度，但其与另一个OP合并会导致速度更快时，TensorRT就会将两个OP合并，并忽略用户设置的INT8精度。使用QAT量化时，会为权重值和激活值插入Q节点（量化节点，FP32→INT8）和DQ节点（反量化节点，INT8→FP32）来模拟量化的过程。
EI复现基于粒子群算法的风电-水电（抽水蓄能）联合优化调度研究（Matlab代码实现）
12-20
【EI复现】基于粒子群算法的风电-水电（抽水蓄能）联合优化调度研究（Matlab代码实现）内容概要：本文围绕基于粒子群算法（PSO）的风电-水电（含抽水蓄能）联合优化调度展开研究，旨在通过Matlab代码实现该优化模型的复现。研究重点在于利用粒子群算法求解多能源系统中的调度问题，综合考虑风电的不确定性与水电（尤其是抽水蓄能电站）的调节能力，构建联合调度模型，以实现电力系统运行的经济性、低碳性与稳定性目标。文中详细阐述了模型构建思路、算法实现流程及关键参数设置，并通过仿真验证了方法的有效性与可行性，属于EI级别论文的复现工作。; 适合人群：具备一定电力系统基础知识和Matlab编程能力的研究生、科研人员及从事新能源调度相关工作的工程技术人员。; 使用场景及目标：①掌握粒子群算法在电力系统优化调度中的具体应用方法；②理解风电-水电联合调度的建模思路与实现过程；③复现并改进已有EI论文中的优化模型，用于学术研究或实际工程参考。; 阅读建议：建议读者结合Matlab代码同步学习，重点关注目标函数设计、约束条件处理及算法参数调优部分，同时可尝试将该方法迁移至其他多能源协同优化场景中进行拓展研究。
研究锂离子电池模型中的最佳性能和效率：对电池组配置、负载选择、放电倍率(C-rate)、容量和电量状态(SOC)的全面研究（Simulink仿真实现）
最新发布
12-20
研究锂离子电池模型中的最佳性能和效率：对电池组配置、负载选择、放电倍率(C-rate)、容量和电量状态(SOC)的全面研究（Simulink仿真实现）内容概要：本文通过Simulink仿真实现，对锂离子电池模型的性能与效率进行了全面研究，重点分析了电池组配置、负载选择、放电倍率(C-rate)、容量及电量状态(SOC)等因素对电池系统的影响。研究涵盖了电池建模、参数设置、工况仿真与性能评估，旨在揭示不同条件下电池的工作特性与效率表现，优化电池使用策略。通过系统级仿真，为电池管理系统设计、电动汽车及储能系统应用提供理论支持和技术参考。; 适合人群：具备一定电力电子、电池管理系统或新能源领域基础知识的科研人员、工程技术人员及高校研究生。; 使用场景及目标：①用于锂离子电池系统的设计与性能优化；②支持电动汽车、可再生能源储能等应用场景下的电池管理策略研究；③为电池仿真建模、SOC估算、效率分析等课题提供仿真基础与数据支撑； 阅读建议：建议结合Simulink模型同步操作，深入理解各参数设置对仿真结果的影响，重点关注不同C-rate和负载条件下的SOC变化趋势与能量效率差异，并可进一步扩展至老化模型与热效应分析。
【遥感与地理信息】基于Google Earth Engine的LULC分类地图生成与面积统计：动态世界模型2024年土地覆盖分析应用
12-20
内容概要：本文介绍了一段基于Google Earth Engine（GEE）平台的代码，用于实现任意区域的土地利用/土地覆盖（LULC）分类制图与面积统计。代码首先加载指定区域（AOI），然后获取2024年Dynamic World数据集的影像分类结果，计算每个像素全年最频繁出现的地物类别（众数），并裁剪得到研究区内的LULC分布图。通过可视化调色板对不同地类进行色彩渲染，并叠加显示在地图上。同时，代码还计算各类别的实际面积（单位：公顷），生成按地类分组的统计结果，并支持将面积统计数据导出为CSV文件，以及将分类图像导出为GeoTIFF格式。; 适合人群：地理信息系统（GIS）、遥感相关领域的研究人员、学生及技术人员，具备基本JavaScript或GEE编程经验者更佳；; 使用场景及目标：①实现快速的土地利用分类制图；②定量统计不同地类的面积分布；③支持环境监测、城市规划、农业管理等应用领域的空间数据分析；④学习GEE平台中影像处理、区域统计与结果导出的操作流程； 阅读建议：此资源以实际代码为基础，注释清晰且功能完整，建议结合Google Earth Engine平台动手运行并调整参数，深入理解影像集合处理、像素级运算、reduceRegion统计方法及数据导出机制。
自定义颜色渐变的仪表盘
12-20
代码转载自：https://pan.quark.cn/s/6457e8564613 仪表盘、仿芝麻信用（新旧两版）、炫酷汽车速度仪表 该项目用于相互交流学习自定义仪表盘控件。 由于仪表盘控件可变属性太多，抽成一个未必能满足广阔的需求，因此实现了不同的，若有适合项目可直接在其基础上改动。 前期模仿了一些比较常见的样式，将来若有新样式会逐渐加入。 sample.apk Screenshot style1 style2 style3 style4 欢迎 or License
（26页PPT）数字孪生智慧水务解决方案.pptx
12-20
（26页PPT）数字孪生智慧水务解决方案.pptx
常用的UWB测距算法包括CHAN及其变种
12-20
源码来自：https://pan.quark.cn/s/c4b8a3e7e2b0 Each real time kernel port consists of three files that contain the core kernel components and are common to every port, and one or more files that are specific to a particular microcontroller and or compiler. The FreeRTOS/Source directory contains the three files that are common to every port - list.c, queue.c and tasks.c. The kernel is contained within these three files. croutine.c implements the optional co-routine functionality - which is normally only used on very memory limited systems. The FreeRTOS/Source/Portable directory contains the files that are specific to a particular microcontroller and or compiler. The FreeRTOS/Source/include directory contains the real time kernel header fi...
跨数据库多源同构表数据差异比对与可视化报告生成工具_支持MySQL多库同步对比_ID相同行数据内容差异检测与缺失ID行识别_生成直观Excel格式差异报告便于数据分析与问题排查_基.zip
12-20
跨数据库多源同构表数据差异比对与可视化报告生成工具_支持MySQL多库同步对比_ID相同行数据内容差异检测与缺失ID行识别_生成直观Excel格式差异报告便于数据分析与问题排查_基.zip
PTQ QAT
12-08
### PTQ详细介绍 #### 原理 PTQ即训练后量化，没有反向传播不进行权重更新，前向传播只是用来统计。其核心是在训练图里插入FakeQuant节点，公式为$w_q = round(clip(w / scale)) * scale$ 。前向过程模拟量化误差，反向传播时采用STE把梯度直接传给FP32权重。PTQ不依赖原始训练过程，只需对模型进行少量样本的统计与校准即可完成，通过分析权重和激活的统计分布，寻找一个最优的量化映射，使离散化误差最小化。PTQ没有反向传播不进行weight更新，前向只是用来统计，伪量化对PTQ来说可有可无 [^3][^4]。 #### 应用场景 适用于模型已训练好，且对精度要求不苛刻的场景。当模型需要快速部署到边缘设备，且能够接受一定的精度损失时，PTQ是一个不错的选择。它可以在不进行大规模重新训练的情况下，快速将模型进行量化，减小模型大小并提升推理速度 [^3]。 ### QAT详细介绍 #### 原理 QAT即量化感知训练，需要插入QAT算子且需要训练进行微调。流程为准备一个预训练模型，在模型中添加QAT算子，微调带有QAT算子的模型，将微调后模型的量化参数（q - params）存储下来，最后量化模型执行推理。在训练时采用伪量化，因为如果不使用伪量化，由于导数为0无法进行梯度更新。在训练图里插入FakeQuant节点，前向模拟量化误差，反向传播时STE把梯度直接传给FP32权重，让网络学会“抗量化”。其粒度方面，默认权重是per - channel，激活是per - tensor，最新研究中scale/zero - point亦可作为可学习参数进行端到端更新 [^2][^3]。 #### 应用场景 适用于精度敏感，可接受再训练的场景。当模型对精度要求较高，且有足够的训练资源（如完整训练集和GPU时间）时，QAT能够在量化的同时保证模型精度几乎无损，支持4 - bit超低比特量化 [^3]。 以下是PyTorch中QAT的示例代码： ```python import torch, torchvision, torch.quantization as tq model = torchvision.models.resnet18(pretrained=True) model.train() tq.prepare_qat(model, qconfig=tq.get_default_qat_qconfig('fbgemm')) opt = torch.optim.AdamW(model.parameters(), 1e-4) # 假设train_loader是训练数据加载器 for x, y in train_loader: loss(model(x), y).backward() opt.step() torch.jit.save(tq.convert(model.eval()), 'qat.pt') ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值