Tensorflow——BatchNormalization（tf.nn.moments及tf.nn.batch_normalization）

https://www.jianshu.com/p/8e7f1532a7cf

批标准化

• 批标准化（batch normalization，BN）一般用在激活函数之前，使结果 各个维度均值为0，方差为1。通过规范化让激活函数分布在线性区间，让每一层的输入有一个稳定的分布会有利于网络的训练。
• 优点：
  加大探索步长，加快收敛速度。
  更容易跳出局部极小。
  破坏原来的数据分布，一定程度上防止过拟合。
  解决收敛速度慢和梯度爆炸。