初入神经网络剪枝量化4（大白话）

二. 量化

 

简单介绍目前比较SOTA的量化方法，也是最近看的。

2.1 DSQ   Differentiable Soft Quantization:Bridging Full-Precision and Low-Bit Neural Networks

        本文的创新点主要在于引入了可微软量化的方法，来模拟近似量化过程。

        通俗来说也就是，传统的量化方法都是利用round来取整，这就导致了量化的不可微。我们一般的处理方法都是使用STE(Straight Through Estimator)，也就是跳过对round的微分，直接让他等于1。

        这会存在什么问题？误差。尤其是当我们进行低bit量化时，误差就会非常大。所以，如果我们可以提出一种量化函数，可微的同时还可以无限靠近round函数，那就很好的解决了STE的问题。所以本文定义了一个可以模拟round函数的函数。

         具体推导这里不做过多讲解，因为比较复杂，笔者也没太搞懂。anyway，这是个可以训练的函数，通过不断训练可以更好的贴合我们的量化函数。