批归一化Batch Normalization学习笔记

1 Batch Normalization（BN）的作用

1.1 特征分布对神经网络训练的作用

在神经网络的训练过程中，我们一般会将输入样本特征进行归一化处理，使数据变为均值为0，标准差为1的分布或者范围在0~1的分布。因为当我们没有将数据进行归一化的话，由于样本特征分布较散，可能会导致神经网络学习速度缓慢甚至难以学习。
用2维特征的样本做例子。如下两个图

上图中样本特征的分布为椭圆，当用梯度下降法进行优化学习时，其优化过程将会比较曲折，需要经过好久才能到达最优点。

上图中样本特征的分布为比较正的圆，当用梯度下降法进行优化学习时，其有过的梯度方向将往比较正确的方向走，训练比较快就到达最优点。
因此一个比较好的特征分布将会使神经网络训练速度加快，甚至训练效果更好

1.2 BN的作用

但是我们以前在神经网络训练中，只是对输入层数据进行归一化处理，却没有在中间层进行归一化处理。要知道，虽然我们对输入数据进行了归一化处理，但是输入数据经过$\sigma(WX+b)$这样的矩阵乘法以及非线性运算之后，其数据分布很可能被改变，而随着深度网络的多层运算之后，数据分布的变化将越来越大。如果我们能在网络的中间也进行归一化处理，是否对网络的训练起到改进作用呢？答案是肯定的。
这种在神经网络中间层也进行归一化处理，使训练效果更好的方法，就是批归一化Batch Normalization（BN）。BN在神经网络训练中会有以下一些作用：

1. 加快训练速度
2. 可以省去dropout，L1, L2等正则化处理方法
3. 提高模型训练精度

2. BN的原理

既然BN这么厉害，那么BN究竟是怎么样的呢？
BN可以作为神经网络的一层，放在激活函数（如Relu）之前。BN的算法流程如下图：

1. 求上一层输出数据的均值$\mu_\beta$

$$\mu_\beta=\frac{1}{m}\sum_{i=1}^mx_i$$ 其中，m是此次训练样本batch的大小。
2. 求上一层输出数据的标准差$\sigma_\beta^2$ $$\sigma_\beta^2=\frac{1}{m}\sum_{i=1}^m(x_i-\mu_\beta)^2$$
3. 归一化处理，得到$\hat{x_i}$ $$\hat{x_i}=\frac{x_i+\mu_\beta}{\sqrt{\sigma_\beta^2+\varepsilon}}$$ 其中$\varepsilon$是为了避免分母为0而加进去的接近于0的很小值
4. 对经过上面归一化处理得到的数据进行重构，得到$y_i$ $$y_i=\gamma\hat{x_i}+\beta$$ 其中，$\gamma和\beta$是可学习参数

上述是BN训练时的过程，但是当在投入使用时，往往只是输入一个样本，没有所谓的均值$\mu_\beta$ 和标准差$\sigma_\beta^2$，那该怎么办呢？此时，网络中使用的均值$\mu_\beta$ 是计算所有batch$\mu_\beta$值的平均值得到，标准差$\sigma_\beta^2$采用每个batch $\sigma_\beta^2$的无偏估计得到。