Batch Normalization原理与优点总结

1. 引言

    随着深度学习的发展，神经网络的模型的深度越来越大，虽然可以提取到数据中更加深层的特征信息，但是，也容易引起梯度消失或梯度爆炸等问题。当使用SGD优化函数时，我们经常会遇到以下两个问题:

• 模型对参数初始化方式、学习率的设置特别敏感。
• 随着网络深度的加深，参数的微小变动都会不断被放大。

    为了解决这两个问题，Sergey Ioffe等人在《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》 一文提出了Batch Normalization，本文将基于该文章，对Batch Normalization的原理进行解析，并对其优点进行总结和归纳。

2. Batch Normalization

2.1 mini-batch Normalization

    在介绍Batch Normalization的思想之前，先明确一个概念，即作者在文中提出的Internal Covariate Shift，其意思是：在训练过程中，深层网络内部节点分布的变化称为Internal Covariate Shift。

    假设某一层的输入为，其中d表示输入的维度，则对每一维进行标准化，有：

                                                                             

其中，和