34、深度学习中的学习率调度与正则化技术

深度学习中的学习率调度与正则化技术

1. 1cycle方法实现

1cycle方法的实现并不困难，只需创建一个自定义回调函数，在每次迭代时修改学习率。可以通过更改 self.model.optimizer.lr 来更新优化器的学习率。示例可参考相关笔记中的“1Cycle调度”部分。

2. 学习率调度总结

指数衰减、性能调度和1cycle方法都能显著加快收敛速度，建议尝试使用这些方法。

3. 避免过拟合的正则化技术

深度神经网络通常有大量参数，这赋予了它们强大的拟合能力，但也容易导致过拟合训练集，因此需要正则化。常见的正则化技术包括：
- ℓ1和ℓ2正则化 ：可以使用ℓ2正则化来约束神经网络的连接权重，若需要稀疏模型（许多权重为0），则可使用ℓ1正则化。以下是在Keras层的连接权重上应用ℓ2正则化的示例，正则化因子为0.01：

import keras

layer = keras.layers.Dense(100, activation="elu",
                           kernel_initializer="he_normal",
                           kernel_regularizer=keras.regularizers.l2(0.01))

l2() 函数返回一个正则化器，在训练的每个步骤中调用以计算正则化损失，并将其添加到最终损失中。