Keras深度学习实战（5）——批归一化详解

0. 前言

批归一化是神经网络中关键性技术之一，使用批归一化可以大幅加快网络的收敛，同时提高网络的泛化能力，也就说，批归一化可以用于缓解模型的过拟合问题。

1. 批归一化基本概念

在《神经网络模型性能优化技术》中，我们了解到，如果不缩放输入数据，则权重优化的速度很慢。这是由于当面临以下情况时，隐藏层的值可能会很过大：

• 输入数据值较大
• 权重值较大
• 权重和输入的乘积结果较大

以上任何一种情况都可能导致隐藏层具有较大输出值，隐藏层可以视为输出层的输入层。因此，当隐藏层值也很大时，同样会导致网络优化缓慢，批归一化 (Batch Normalization, BN) 的提出就是为了解决这一问题。
我们简单回顾下批训练的概念，一般在网络的计算过程中会同时计算多个样本，这种训练方式叫做批训练，其中一个批中样本的数量叫做 Batch Size。我们已经了解到，当输入值很高时，我们可以通过使用缩放以减小输入值。此外，我们也了解了多种数据缩放的方法，其中包括减去输入的平均值并将其除以输入的标准差，而批归一化就是使用这种缩放的方法。通常，首先使用以下公式计算网络层批数据的均值和方差：