小知识点快速总结：Batch Normalization Layer（BN层）的作用

本系列文章只做简要总结，不详细说明原理和公式。

1. 参考文章

[1] Sergey Ioffe, “Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift”
[2] WellWang_S, “神经网络中BN层的原理与作用”
[3] 是Dream呀,“机器学习：BN层介绍及深入理解”
[4] 标准化和归一化，请勿混为一谈，透彻理解数据变换
[5] 针对：'‘标准化和归一化什么区别？’'问题，答主本空的回答

2. 主要作用

BN层主要是为了解决网络训练过程中出现的internal Covariate Shift（内部协方差偏移，简成ICS）问题。ICS问题会导致随着网络深度的加深，训练越来越困难，收敛越来越慢。

具体可以分为三个作用：
  1.正则化，降低过拟合。
  2.提高模型收敛速度，加速训练。
  3.减少梯度爆炸或者梯度消失的