论文总结：WRPN: Wide Reduced-Precision Networks

论文地址：https://arxiv.org/pdf/1709.01134v1.pdf

这篇论文主要篇幅都花在实验上，对于wrpn的具体原理等并未详细介绍。下面简单介绍笔者对该论文的理解。

主要内容

该论文最大贡献就是在不影响网络精度的前提下，对于激活层的量化。
如下图所示，使用minibatch时，随着batch数量的增加，激活层占用的内存显著增加。所以，作者提出了激活层量化的wrpn方法。

DoReFa的k位权重量化公式：

而WRPN则是在此基础上提出更简单的量化公式：

其中，权重是带符号的，故此留一位作为符号位(k-1)；而激活值则是无符号的。
需要注意的是，事先要将权重限制在[-1,1]，将激活值限制在[0,1]，具体方法不限(如Tensorflow中的tf.clip_by_val函数)。

wrpn是作者通过大量实验总结所得出的，按照笔者的理解，就是增加特征图的同时降低精度，使得整体的复杂性比原本网络小得多，而且由于特征图的增加，量化后整个网络的精度反而不会降低多少。

这种方法还需要更多的实验结果进行支撑，有兴趣的可以尝试。