Learning to Quantize Deep Networks by Optimizing Quantization Intervals with Task Loss

本文提出了一种可学习的量化间隔(Quantization Interval Learning,QIL)方法。

它的思路类似TSQ，都是分两步进行量化，但与TSQ不同，它在每一步里都同时对权重和激活值进行处理。

第一步是一个Transformer：其思路与DoReFa-Net类似，将权重变换到[-1,1]，将激活值变换到[0,1]。

其框架如下：

权重和激活值的变换公式分别为：




这里Cw和Cx分别为转换区间的中心值，Dw和Dx分别为中心到边缘的距离。

在做完转换后，第二步是discretizer，使用截断函数将参数离散化：