论文地址:https://arxiv.org/pdf/1709.01134v1.pdf
这篇论文主要篇幅都花在实验上,对于wrpn的具体原理等并未详细介绍。下面简单介绍笔者对该论文的理解。
主要内容
该论文最大贡献就是在不影响网络精度的前提下,对于激活层的量化。
如下图所示,使用minibatch时,随着batch数量的增加,激活层占用的内存显著增加。所以,作者提出了激活层量化的wrpn方法。
DoReFa的k位权重量化公式:
而WRPN则是在此基础上提出更简单的量化公式:
其中,权重是带符号的,故此留一位作为符号位(k-1);而激活值则是无符号的。
需要注意的是,事先要将权重限制在[-1,1],将激活值限制在[0,1],具体方法不限(如Tensorflow中的tf.clip_by_val函数)。
wrpn是作者通过大量实验总结所得出的,按照笔者的理解,就是增加特征图的同时降低精度,使得整体的复杂性比原本网络小得多,而且由于特征图的增加,量化后整个网络的精度反而不会降低多少。
这种方法还需要更多的实验结果进行支撑,有兴趣的可以尝试。