Batch Normalization

只有当训练数据和测试数据是满足相同分布时，我们的模型才能够通过训练数据训练出在测试集上有好的效果。而BatchNorm就是在深度神经网络训练过程中使得每一层神经网络的输入保持相同分布。

 

训练深度网络的时候经常发生训练困难的问题，因为，每一次参数迭代更新后，上一层网络的输出数据经过这一层网络计算后，数据的分布会发生变化，为下一层网络的学习带来困难（神经网络本来就是要学习数据的分布，要是分布一直在变，学习就很难了）。

 

但若直接对神经网络的每一层做归一化，会导致学习不到任何东西。因为假设将每一层输出后的数据都归一化到0均值，1方差，每一层的数据分布都是标准正太分布，会导致其完全学习不到输入数据的特征，因为，费劲心思学习到的特征分布被归一化了。 

 

BN能加速收敛的原因：BatchNorm通过规范化手段，对于每个隐层神经元，把逐渐向非线性函数映射后向取值区间极限饱和区靠拢的输入分布强制拉回到均值为0方差为1的比较标准的正态分布，使得非线性变换函数的输入值落入对输入比较敏感的区域，以此避免梯度消失问题。因为梯度一直都能保持比较大的状态，所以很明显对神经网络的参数调整效率比较高，就是变动大，就是说向损失函数最优值迈动的步子大，也就是说收敛地快。

 

 

BN步骤：

1.先求出此次batch的均值；

2.求出此次batch的方差；

3.接下来对每一层的输出（未经过激活函数）做归一化

4.最重要的一步，引入缩放和平移变量和β,计算归一化后的值。

 

BN优点：

1.加速网络收敛

2.缓解梯度消失和梯度爆炸