31、深度神经网络训练技巧与优化策略

深度神经网络训练技巧与优化策略

1. 批量归一化（Batch Normalization）

批量归一化（Batch Normalization，简称 BN）在深度神经网络中已成为最常用的层之一，以至于在图表中常常被省略，因为通常默认在每一层之后都会添加 BN 层。我们可以查看 BatchNormalization 类的源代码来了解其处理方式：

class BatchNormalization(keras.layers.Layer): 
    [...] 
    def call(self, inputs, training=None): 
        [...]

call() 方法用于执行计算，它有一个额外的 training 参数，默认设置为 None ，但在训练期间， fit() 方法会将其设置为 1 。如果需要编写自定义层，且该层在训练和测试时的行为不同，可以在 call() 方法中添加 training 参数，并根据该参数决定计算内容。

不过，Hongyi Zhang 等人的一篇近期论文可能会改变这一现状。他们通过一种新颖的固定更新（fixup）权重初始化技术，成功训练了一个非常深的神经网络（10000 层！），而无需使用 BN 层，并且在复杂的图像分类任务中取得了最先进的性能。但这是前沿研究，在放弃批量归一化之前，建议等待更多研究来证实