论文总结：Post training 4-bit quantization of convolutional networks for rapid-deployment

论文地址：https://arxiv.org/pdf/1810.05723.pdf

主要内容

神经网络的量化造成的精度损失可以通过训练来补偿，但需要完整的数据集信息(大都涉及隐私等)，而且训练很耗时，故此一些统称为训练后量化的方法被提出，这些方法只需要量化权重和激活值，不需要重新训练。但是，低于8bit的量化会导致显著的精度下降，因此作者研究了CNN训练后的4bit量化。
作者提出了三种训练后量化的方法：ACIQ、Per-channel bit allocation、Bias-correction。

Analytical Clipping for Integer Quantization (ACIQ)

该方法用于激活值的量化。
假设X是高精度的随机变量，f(x)是其概率密度函数，$E(x)=0$(不失一般性，因为可以随时添加或减去该均值)，总位宽为M，要将值量化为$2^M$个离散值。
首先，定义一个剪裁函数$clip(x$