二值化神经网络——BNN_htanh-优快云博客

二值化神经网络——BNN

前言：最近在研究FBN的时候看到了BNN这个概念，论文中有很多的概念都和BNN相关，这里记录一下对于BNN的理解

什么BNN？

BNN全称Binarized Neural Networks中文译作二值化神经网络。其核心的思想就算把权重矩阵中权重值和各个激活函数的函数值同时二值化得到的神经网络.我们通过有两个二值化函数可以用来完成这个过程。
第一个是Sign函数

$x^{b}=\operatorname{Sign}(x)=\left\{\begin{array}{ll} +1 & \text { if } x \geq 0 \\ -1 & \text { otherwise } \end{array}\right.$
其中x是真实变量值，Sign(x)是符号函数

第二个是随机式的：
$1−pσ(x)=clip⁡(x+12,0,1)=max⁡(0,min⁡(1,x+12))\begin{aligned} &x^{b}=\left\{\begin{array}{ll} +1 & \text { with probability } p=\sigma(x) \\ -1 & \text { with probability } 1-p \end{array}\right.\\ &\sigma(x)=\operatorname{clip}\left(\frac{x+1}{2}, 0,1\right)=\max \left(0, \min \left(1, \frac{x+1}{2}\right)\right) \end{aligned}$

随机式的二值化符号函数看起来要稍微复杂一点，也真是因为它在思想过程中比较困难，在实际运用的过程中也是第一种用的要多一些

BNN有什么优点？

通过将权重矩阵二值化，一个权重只占用一个比特，相当于单精度浮点型权重矩阵，网络模型内存消耗理论上能减少32倍。简单来说就是：模型速度更快，所需内存更小，这也是我们进行模型压缩的优化的主要目的

如何计算梯度？

虽然BNN在训练的过程中使用的是二值化的权重和激活值，但是梯度是不可用二值化存储的，原因在于：

随机梯度下降更新参数的时候，梯度的量级很小；
梯度具有累加效应，梯度中是包含噪声的，而噪声一般都是正态分布的，多次累加可以将噪声平均消耗点

而且在计算参数的梯度时，二值化相当于给权重和激活添加了噪声，这类似于正则化的操作让模型的泛化性能更好，我们训练BNN的方法可以看作是Dropout的一种变体，只是计算参数梯度时的Dropout是把激活值设置为0，而二值化网络是对权重和参数进行二值化。

综上所述，我们不能对梯度进行二值化。

在BNN中使用了离散化的梯度传播，在反向传播的过程中要用到Sign函数的导数，然而Sign函数的导数几乎处处为0，这点是不客气的。我们需要对Sign函数就行一定的变形，这就得到了Htanh函数
$Htanh⁡(x)=Clip⁡(x,−1,1)=max⁡(−1,min⁡(1,x))\operatorname{Htanh}(x)=\operatorname{Clip}(x,-1,1)=\max (-1, \min (1, x))$
在这里插入图片描述
二值化操作函数为：
$q=sign⁡(r)q=\operatorname{sign}(r)$