BatchNormalization和Layer Normalization解析

Batch Normalization

是google团队2015年提出的，能够加速网络的收敛并提升准确率

1.Batch Normalization原理

图像预处理过程中通常会对图像进行标准化处理，能够加速网络的收敛，如下图所示，对于Conv1来说输入的就是满足某一分布的特征矩阵，但对于Conv2而言输入的feature map就不一定满足某一分布规律了（注意这里所说满足某一分布规律并不是指某一个feature map的数据要满足分布规律，理论上是指整个训练样本集所对应的feature map的数据要满足分布规律）。而我们BN的目的就是使feature map满足均值为0，方差为1的分布规律。

对于一个拥有d维的输入x，我们将对它的每一个维度进行标准化处理。假设我们输入的x是RGB三通道的彩色图像，那么这里的d就是输入图像的channels即d=3，其中x^1就代表我们的R通道所对应的特征矩阵，依次类推。标准化处理也就是分别对R通道，G通道，B通道进行处理。

让feature map满足某一分布规律，理论上是指整个训练样本集所对应feature map的数据要满足分布规律，也就是说要计算出整个训练集的feature map然后再进行标准化处理，对于一个大型的数据集明显是不可能的，所以论文中说的BN，也就是计算一个Batch数据的feature map然后进行标准化（batch越大越接近整个数据集的分布，效果越好）。

上图展示了一个batch size为2（两张图片）的Batch Normalization的计算过程，假设feature1、feature2分别是由image1、image2经过一系列卷积池化后得到的特征矩阵，feature的channel为2，那么x^1代表batch的所有的feature的channel1的数据。然后分别计算x^1和x^2的均值和方差。然后再根据标准差计算公式分别计算每个channel 的值（是很小的常量，放置分母为0的情况）。在训练过程中要去不断地计算每个batch的均值和方差，并使用移动平均（moving average）的方法记录统计的均值和方差，在