羊藤枝的博客

在量化中，因为量化函数是不可微分的，所以一旦涉及到量化函数的反向传播时，就需要对量化函数的梯度进行近似，目前常用的近似是STE，从而避免量化函数的零梯度问题。所谓STE就是一个直通器，它只是传播相同的梯度而不考虑量化函数的输入和输出之间的离散误差。这篇论文就针对STE的缺点提出了一种元素级的梯度放缩算法，叫做EWGS。给定量化函数量化输出的梯度，EWGS自适应地放大或缩小每个梯度元素，并使用缩放后的梯度作为量化函数输入的梯度，通过反向传播来训练量化的网络。缩放是根据每个梯度元素的符号和量化函数的连续输入和离

前言在量化中，常用的量化函数一般的四舍五入函数，即在量化时以0.5为阈值，当超过0.5时，结果为1；不超过0.5时，结果为0.这就是所谓的四舍五入函数。很多时候，直接进行四舍五入量化，结果往往不是最优的。为什么不是最优的，可以通过下面一个简单的例子来进行说明。对于一个训练好的网络来说，其权重为www,当进行量化时，可以把量化带来的权重的变化Δw\Delta wΔw视为一种扰动，那么由于扰动而带来的任务损失的变化表述为下式：这里主要用到了二阶泰勒展开。因为网络权重已经训练收敛，一阶项一阶接近0，所以忽

1. 相关基础量化基础知识在量化中，一个比较重要的概念是量化函数q(⋅)q(\cdot)q(⋅)，即如何从一个浮点数值映射到具有特定宽度的量化值，即: q(⋅):R→Qbu,sym q(\cdot): \mathcal{R} \rightarrow \mathcal{Q}_{b}^{\text {u,sym }}q(⋅):R→Qbu,sym ​. 一般比较常用的量化函数是四舍五入函数，当前很多量化算法使用的是这个函数，比如PACT等。一般量化问题可以表示为下述的优化目标函数：mi

1. 量化的基本概念A. 问题设置和符号表示假设网络有L层，其每层的参数表示为：{W1,W2,…,WL}\left\{W_{1}, W_{2}, \ldots, W_{L}\right\}{W1​,W2​,…,WL​}，用θ\thetaθ表示所有参数的集合，以监督学习问题为例，其目标函数为：L(θ)=1N∑i=1Nl(xi,yi;θ)（1）\mathcal{L}(\theta)=\frac{1}{N} \sum_{i=1}^{N} l\left(x_{i}, y_{i} ; \theta\right