模型加速--CLIP-Q: Deep Network Compression Learning by In-Parallel Pruning-Quantization

CLIP-Q: Deep Network Compression Learning by In-Parallel Pruning-Quantization
CVPR2018
http://www.sfu.ca/~ftung/
裁剪和量化一体化框架

本文的思路比较简单，裁剪+量化一体训练模型分三个步骤：
1） Clipping 裁剪，将网络中的权重系数值接近0 的权重全部置零，当然这种置零是临时性的，后面的训练迭代根据实际情况调整。 这里的阈值自适应确定，（model the objective function as a Gaussian process）
2）Partitioning 切分， partition the non-clipped portion of the 1-D axis of weight values into quantization intervals，这里我们使用了 linear (uniform) partitioning ，也可以使用其他自适应切分 如 weighted entropy
3）Quantizing 量化 update the quantization levels the discrete values that the weights are permitted to take in the compressed network

Experiments

11