HWGQ-net学习记录

HWGQ-net学习记录

概要介绍

HWGQ的全名是Half-wave Gaussian Quantization翻译过来就是半波高斯量子化，HWGW-net主要是针对激活值进行量化，以及使用近似的方法来拟合量化的损失（使得量化的损失和梯度匹配）。 也是模型量化一种方法

这个网络结构会在前向传播的时候使用近似于ReLU函数的量化器，在反向传播使用合适的分段线性函数，来解决前向传播和反向传播的不匹配问题。（以前的前向传播多了个量化过程，而反向传播不作处理）

对于量化的影响而言，激活值的量化比权重的量化要大很多(因为量化损失大很多)。作者认为这是因为激活值量化之后，还要经过激活函数的作用，这样就会产生不可微分算子，产生很小的梯度(梯度饱和)。

以前的方法，forward model和反向计算梯度的方法不匹配，所以不能保证得到很好的性能，很可能得到一个次优解。（因为forward时，要经过一个量化操作，而backward时按原模型处理，所以会出现forward和backward模型不匹配现象）

Half-wave Gaussian Quantization

ReLU

$$g(x)=\max (0,x)$$
前面已经提到了，我们在前向传播的过程中会使用量化器Q(x)去近似ReLU

前向传播近似

$$Q(x)=q_i,\text{ if }x\in \left(t_i,t_{i+1}\right]$$
其中, $t_i,t_{i+1}$ 是两个量化的值。我们所需要存储的是下标，通过存储下标得到对应的值。

因为每层的激适输出都接近于高斯分布 (经过BN层之后, 就是高斯分布。而该方法是作用于点积操作后的BN层之后的)，又因为ReLU是一个 half-wave rectifier，所以方法叫做 half-wave Gaussian quantized (HWGQ)。

反向传播近似

我们有三种方法来进行反向传播的近似

1. Vanilla ReLU
   $${\hat{Q}}^{\prime }(x)=\{\begin{array}{ll}1,& \text{ if }x>0\\ 0,& \text{ otherwise }\end{array}$$

该方法和HWGQ存在 gradient mismatch，因为Q(x) 限定了量化的最大数t ${}_{m\circ }$

2. Clipped ReLU
   $${\hat{Q}}_c(x)=\{\begin{array}{ll}{q}_m,& x>q_m\\ x,& x\in \left(0,q_m\right]\\ 0,& \text{ otherwise }\end{array}$$

使用截断ReLU, 则不会在大于 $q_{m\text{ 的数值上产生 dismatch 现象。 }}$

3. Log-tail ReLU
   $${\hat{Q}}_l(x)=\{\begin{array}{ll}{q}_m+\log (x-\tau ),& x>q_m\\ x,& x\in \left(0,q_m\right]\\ 0,& \text{ otherwise }\end{array}$$

结果证明，截断式ReLU比较好用。

总结

HWGW-net是一种模型量化的方法，优点就是模型压缩的一贯优点，这里没有深入的去研究，日后可能来补全。