36、深度学习优化与正则化技术详解

深度学习优化与正则化技术详解

1. 优化器介绍

1.1 Nadam 优化器

Nadam 优化是 Adam 优化与 Nesterov 技巧的结合，通常比 Adam 收敛速度稍快。研究人员 Timothy Dozat 对比多种优化器后发现，Nadam 总体上表现优于 Adam，但有时会被 RMSProp 超越。

1.2 AdamW 优化器

AdamW 是 Adam 的变体，集成了权重衰减（weight decay）正则化技术。权重衰减在每次训练迭代时，通过将模型的权重乘以衰减因子（如 0.99）来减小权重大小。虽然 ℓ2 正则化也旨在保持权重较小，但在使用 Adam 及其变体时，ℓ2 正则化与权重衰减并不等价。实践中，将 Adam 与 ℓ2 正则化结合使用，模型的泛化能力往往不如使用 SGD 时。AdamW 通过正确结合 Adam 和权重衰减解决了这个问题。

1.3 自适应优化方法的局限性

自适应优化方法（包括 RMSProp、Adam、AdaMax、Nadam 和 AdamW 优化）通常能快速收敛到较好的解。然而，它们在某些数据集上可能导致泛化性能不佳。当对模型性能不满意时，可以尝试使用 NAG，因为数据集可能对自适应梯度不适应。

1.4 在 Keras 中使用 Nadam、AdaMax 和 AdamW

在 Keras 中使用 Nadam、AdaMax 或 AdamW，只需将 tf.keras.optimizers.Adam 替换为 tf.keras.optimizers.Nadam 、 tf.