Up or Down? Adaptive Rounding for Post-Training Quantization（记录）

最新推荐文章于 2025-03-06 17:16:58 发布
原创 最新推荐文章于 2025-03-06 17:16:58 发布 · 777 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #计算机视觉

AdAround技术通过优化量化过程中的取整操作，减少量化误差。它采用泰勒展开简化量化公式，通过引入可训练参数和特定假设，降低求解难度。实验证明不同取整方式对精度有显著影响。

adaround就是优化量化取整的操作，正常量化公式如下：

 那么，[]，到底是四舍五入还是取最近还是随机是个值得思考的问题。

首先，提高量化效果就是优化下面这项：

         作者利用泰勒展开，展开为一阶项和二阶项，其中因为是PTQ量化，模型已训练收敛，故第一项可以忽略。那么优化公式改为

         根据这个公式作者举了个例子来证明不同的取整方式对于精度的影响；

        假设一个layer只有两个权重w1和w2，同时假设海森矩阵如图

         故上面的公式可以化简为：

最低0.47元/天 解锁文章
RANKING666
关注
模型量化论文阅读#3----Up or Down? Adaptive Rounding for Post-Training Quantization
羊藤枝的博客
06-02 1422
前言 在量化中，常用的量化函数一般的四舍五入函数，即在量化时以0.5为阈值，当超过0.5时，结果为1；不超过0.5时，结果为0.这就是所谓的四舍五入函数。很多时候，直接进行四舍五入量化，结果往往不是最优的。为什么不是最优的，可以通过下面一个简单的例子来进行说明。 对于一个训练好的网络来说，其权重为www,当进行量化时，可以把量化带来的权重的变化Δw\Delta wΔw视为一种扰动，那么由于扰动而带来的任务损失的变化表述为下式： 这里主要用到了二阶泰勒展开。因为网络权重已经训练收敛，一阶项一阶接近0，所以忽
Up or Down? Adaptive Rounding for Post-Training Quantization个人理解
qq_22000419的博客
03-11 1261
Up or Down? Adaptive Rounding for Post-Training Quantization个人理解亮点核心公式推导功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 亮点 提出一个新的无需重训练的量化方法
AdaRound：训练后量化的自适应舍入
u012347027的博客
03-11 3838
AdaRound：训练后量化的自适应舍入摘要贡献动机方法基于任务损失的 Rounding从泰勒展开到局部损失AdaRound实验消融实验From task loss to local lossDesign choices for AdaRoundOptimization using STEInfluence of quantization gridOptimization robustness to data对比试验个人总结与思考 本文是高通AI研究院发表在ICML 2020上的一篇 PTQ 文章。根据泰勒
神经网络量化（四）
weixin_38498942的博客
05-29 1070
在本节中，我们介绍了AdaRound（Nagel等人，2020年），这是一种系统化的方法，用于找到PTQ中良好的权重舍入选择。需要注意的是，用于将方程（30）的QUBO问题与方程（31）的局部优化问题联系起来的近似和分析与舍入问题无关。图7中验证准确率与方程（30）的目标之间的明显相关性表明，即使对于4位权重量化，后者也可以作为任务损失（方程29）的良好代理。为了解决第一个问题，作者引入了额外的适当假设，将方程（30）的目标简化为以下局部优化问题，该问题最小化了层的输出激活的均方误差（MSE）
AdaRound
xdxd3c的博客
12-11 599
在量化神经网络时，将每个浮点权值赋给其最近的定点值是主要的方法。在本文中，提出了一种更好的适应数据和任务损失的PTQ加权舍入机制AdaRound。AdaRound速度很快，不需要对网络进行微调，并且只使用少量未标记的数据。从理论上分析预训练神经网络的舍入问题。通过泰勒级数展开式逼近任务损失，将舍入任务化为二次型无约束二元优化问题，将其简化为分层局部损失，并建议使用软松弛来优化该损失。
模型压缩算法国内外研究现状综述
Joejwu的博客
07-03 3130
剪枝类型参考文章评估指标简介参数驱动[99][100][101][102]基于权值的L1/L2范数[103][104][105]基于BN层的γ参数[106][107]基于BN层的γ参数衍生的缩放因子[108]基于卷积核的谱聚类[109]基于卷积核的几何中位数[110]基于卷积核的相似度数据驱动[111]基于后一层的统计信息[112][113][114]基于激活值最小重构误差[115]基于剪枝前后特征图熵值大小[116]
在线量化工具总结与实战（mqbench） -- 学习记录
最新发布
点云算法工程师
03-06 1592
运行以下指令，运行过程及对应进程号 显示在l0gs文件夹下，运行结束可査看到 ptq mse 精度 以及 qat fixed 精度。运行以下指令，运行过程及对应进程号 显示在l0gs文件夹下，运行结束可査看到fp32模型 fintune 精度。基于mqbench，实现对 mobilenet-v2 网络的 QAT 和 TensorRT 部署的全流程演示。注:下图左边为原始json示意图，右边为去除后的ison示意图，具体数字差异请忽视。步骤5，往往就是QAT量化的精度损失所在，也是算法的可以改进的地方。
【2011-2016】 NIPS汇总 - Advances in Neural Information Processing Systems
Testing的博客
10-02 1万+
Advances in Neural Information Processing Systems 24 (NIPS 2011) The papers below appear in Advances in Neural Information Processing Systems 24 edited by J. Shawe-Taylor and R.S. Zemel and P.L.
AIMET API 文档（5）
weixin_38498942的博客
09-20 743
PyTorch 跨层均衡的 AIMET 功能具有 3 个功能 -批量标准化折叠跨层缩放高偏置折叠如果用户想要修改跨层均衡的顺序，而不是使用某些功能或手动调整需要均衡的层列表，可以使用以下 API。更高级别的 API 可用于依次使用一个或多个功能。它会自动找到要折叠或缩放的图层。较低级别的 API 可用于手动调整要折叠的层列表。用户必须按照层在模型中出现的正确顺序传递层列表。
高效模型量化工具包-AIMET（四）
weixin_38498942的博客
05-15 1543
后训练量化（Post-Training Quantization，简称PTQ）算法是指对预训练的FP32网络进行优化，调整其权重和量化参数，以提高量化性能，而无需进行微调。PTQ方法可以是无数据的，也可以需要一个小的校准集，这通常是容易获取的。由于它们不需要访问原始训练流程，并且几乎不涉及超参数调整，因此可以通过单个API调用作为黑盒方法来对预训练的神经网络进行量化，从而使神经网络设计师无需成为量化专家，从而实现神经网络量化的更广泛应用。
高效模型量化工具包-AIMET（五）
weixin_38498942的博客
05-23 1410
它仅需要少量未标记的数据样本（例如：在视觉任务中使用了500-2,000个样本），无需超参数调整或端到端微调，并且可以应用于任何神经网络的全连接和卷积层。• 在分析性偏差校正（perform_only_empirical_bias_corr = False）的情况下，AIMET会自动检测给定模型中具有关联批归一化统计的候选卷积层，以执行偏差校正。它返回一个更新后的模型，其中包含优化后的权重，并将相应的量化编码保存在一个JSON输出文件中，该文件的路径由encoding_path参数指定。
数据处理和分析之分类算法：Adaboost：Adaboost算法的参数调优
2401_87715305的博客
09-28 1078
Adaboost算法，作为集成学习中的一种提升方法，通过迭代地训练多个弱分类器并结合它们的预测结果来形成一个强分类器。
AIMET工具 模型量化介绍(3)
weixin_38498942的博客
07-22 1376
AIMET工具模型量化介绍（3）AIMET 量化可视化概述设计量化启动Bokeh服务器会话：AIMET AdaRoundAdaRound 用例不建议AdaRound Hyper 参数指南 AIMET 量化可视化 概述 AIMET Visualization 通过可视化为 AIMET 工具（帮助量化和压缩 ML 模型）增加了分析能力。 它提供了对 AIMET 功能更详细的见解，因为用户能够在可压缩性方面分析模型的层，并在应用量化时突出显示潜在问题。 该工具还有助于显示计算量大的任务的进度。 设计 给定一个模型
修改aimet1.26.0工具成有符号量化，以及修改adaround
qq_44630788的博客
02-01 999
aimet 1.26.0版本修改为有符号对称对称量化。
MRECG
whaosoft143ai的博客
04-03 260
解决量化误差振荡问题，让MobileNetv2的能力超过ResNet家族,这里说下PTQ中的振荡问题，为了解决振荡问题，作者提出了一种新的混合重构粒度（MRECG）方法，在具有2/4位的MobileNetV2中实现了58.49%的Top-1准确率，这大大超过了当前的SOTA方法。训练后量化（PTQ）由于其数据隐私性和低计算成本，被广泛认为是实际中最有效的压缩方法之一。作者认为PTQ方法中存在一个被忽视的振荡问题本文中主动探索并提出了一个理论证明，来解释为什么这样的问题在PTQ中是必不可少的whaosoft
探讨AIMET训练后量化方法
jacke121的专栏
09-03 2209
探讨AIMET训练后量化方法
Roi Pooling，Roi Warping pooling，PSROIPooling，Roi Align，PrROI Pooling大总结
年轻即出发，
01-12 5545
Roi Pooling： 出自论文，Fast R-CNN，作者Ross Girshick ROI Pooling在faster RCNN中提出。主要有2个缺点， 需要进行2次量化取整的操作，会带来精度的损失 ROI区域中的像素是离散化的，没有梯度的更新，不能进行训练的调节 首先，ROI Pooling涉及到的2次量化操作，每进行一次都会有精度的损失。第一次是ROI pooling之前预...
闲话模型压缩之量化（Quantization）篇
热门推荐
世事难料，保持低调
06-25 7万+
1. 前言 这些年来，深度学习在众多领域亮眼的表现使其成为了当今机器学习的主流方法。但其巨大的计算量仍为人诟病。尤其是近几年，随着端设备算力增强，业界涌现出越来越多基于深度神经网络的智能应用。为了弥补算力需求与供给的巨大鸿沟，近几年来模型压缩成为了业界的热点之一。模型压缩又可细分为多个子方向。之前在浅谈端上智能之计算优化中有过一些简单的论述，同时在闲话模型压缩之网络剪枝（Network Pruning）篇中更加具体地整理了些关于网络剪枝（network pruning）的东西，今天就再将目光放到另一类方法上
量化论文笔记
weixin_42638415的博客
09-06 904
本文通过优化缩放参数（scale)提出了一种更为简单高效的后量化方法，称为EasyQuant（EQ），可以达到与训练中量化相近的精度。EasyQuant优化了每一层权重和激活值的量化因子的取值，使得卷积后达到更高的量化精度；随后将权重和激活值的位宽降至7bit，中间值以int16形式存储，来加速推理。实验结果显示在不同计算机视觉任务中EQ比TensorRT效果更佳，7bit位宽后量化达到了接近int8的精度。
Adaptive Normalized Risk-Averting Training for Deep Neural Networks
04-01
Adaptive Normalized Risk-Averting Training (ANRAT) is a method for training deep neural networks that aims to improve the robustness and generalization of the model. The main idea behind ANRAT is to incorporate risk aversion into the training process, which encourages the model to make more conservative predictions that are less likely to result in high losses. ANRAT achieves this by introducing a penalty term into the loss function that penalizes the model for making risky predictions. The penalty term is based on the normalized risk, which is a measure of the expected loss associated with a particular prediction. During training, ANRAT adapts the penalty term based on the current state of the model. Specifically, the penalty term is increased if the model is making risky predictions, and decreased if the model is making more conservative predictions. This adaptive approach helps the model to learn to balance between making accurate predictions and avoiding risky predictions. ANRAT has been shown to improve the robustness and generalization of deep neural networks across a range of tasks, including image classification and natural language processing. It has also been shown to be effective in mitigating the effects of adversarial attacks. Overall, ANRAT is a promising approach for training deep neural networks that takes into account the risk associated with different predictions and encourages the model to make more conservative and robust predictions.
评论 3
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值