三值神经网络

权重压缩：三值神经网络

背景

卷积神经网络（Convolutional Neural Network，CNN）尤其适合于目标识别、分类、检测及图像分割等计算机视觉应用。 典型的模型有数百万参数并运算量大；例如，AlexNet有6100万参数（浮点数权值共占用249MB存储空间），分类一张图片需要15亿高精度运算。 所以为降低CNN规模和使用资源，现在有模型修剪（model pruning，去掉值较小的权值）和权值压缩（weight compression，利用少数几位量化权值） 两种方法。
权值压缩：二值神经网络

三值神经网络

重要点：网络中的权重更新使用三值{+1,0,-1};并最小化全精度权重W和三值权重W的欧式距离。

原理：

1. 原始问题：设置传播中的权重为三值，用三值的权重逼近全精度权重$W$， 三值权重$W^t$;目标：$W\approx \alpha W^t$

KaTeX parse error: No such environment: equation at position 45: …^{t*}= \begin{̲e̲q̲u̲a̲t̲i̲o̲n̲}̲ \mathop{\a…
传播过程：

$$\{\begin{array}{l}Z=X\ast W\approx X\ast (\alpha W^t)=(\alpha X)⨁W^t\\ X^{next}=g(Z)\end{array}\text{\hspace{1em}(2)}$$
2. 使用特定阈值来设置权重$W_i^t$ 为 {+1, 0, 1}， 寻找一个适当的阈值$\Delta$和$\alpha$来拟合上述问题；这样用阈值和$W_i$来确定权重$W^t$，简化了计算量；而且使用+1/-1/0更使计算从原先的乘法变成加法（+1/-1直接是本身的加减）；此外$\Delta$和$\alpha$都是正数。

$$W_i^t=f_t(W_i|\Delta )=\{\begin{array}{l}+1,if{W}_i>\Delta \\ 0,if|W_i|\le \Delta \\ -1,if{W}_i<-\Delta \end{array}\text{\hspace{1em}(3)}$$
公式1的优化问题化解为如下：

从而$\alpha ,\Delta$ 解：
$$\begin{gathered} {\alpha }_{\Delta }^{\ast }=\frac{1}{|I_{\Delta }|}(\sum _{i\in I_{\Delta }}|W_i|) \\ \text{\hspace{1em}(5)} \end{gathered}$$

KaTeX parse error: No such environment: equation at position 20: …lta^* = \begin{̲e̲q̲u̲a̲t̲i̲o̲n̲}̲ \mathop{\arg\m…

最终确定一个阈值$\Delta$、$\alpha$ 来构建三值神经网络；根据W具体的分布情况来确定阈值$\Delta$：

均匀分布:在$|W_i|$大于阈值的条件下 ：$\sum_{i \in I_\Delta}{W_i} $ 约等于均值($\frac{a+\Delta }{2}$)*数量($|I_{\Delta }|$)

正态分布：

最后本文章作者根据经验：

确定三值网络中的阈值与W期望的关系${\Delta }^{\ast }/E(|W|)$：：$${\Delta }^{\ast }=0.7\ast E(W)\approx \frac{0.7}{n}\sum _{i=1}^n|W_i|$$
均值分布：${\Delta }^{\ast }/E(|W|)=\frac{2}{3}\approx 0.66$ (注$W$在[-a,a]均匀取值，均值为$E(|W|)=a/2$)
正态分布：$${\Delta }^{\ast }/E(|W|)=\frac{0.6\sigma }{2\sigma /\sqrt{2\pi }}\approx 0.75$$ (注：$E(|W|)=2\sigma /\sqrt{2\pi })$