12、深度学习优化算法与TensorFlow实践：手写数字分类模型构建

深度学习优化算法与TensorFlow实践：手写数字分类模型构建

1. 自适应学习率与正则化

1.1 自适应学习率

使用自适应学习率算法（如AdaGrad或Adam），学习率可在训练过程中自动调整，无需手动微调，可能会改善收敛性和性能。

1.2 正则化

正则化是机器学习和统计建模中用于防止过拟合、提高模型泛化能力的技术。过拟合是指模型变得过于复杂，开始记忆训练数据，导致在未见过的数据上表现不佳。

正则化的基本思想是在训练过程中对模型的权重引入额外的约束或惩罚，鼓励模型学习更简单的模式，避免数据中过于复杂或精细的关系。常见的正则化技术有：
- L1正则化（LASSO） ：在损失函数中添加一个与模型权重绝对值成正比的惩罚项，鼓励稀疏性，使一些权重变为零，有效进行特征选择并降低模型复杂度。
- L2正则化（Ridge） ：在损失函数中添加一个与模型权重平方成正比的惩罚项，鼓励小权重，但不像L1正则化那样激进地使权重变为零。L2正则化也称为岭回归，有助于减少线性模型中共线性的影响。
- 弹性网络正则化 ：结合了L1和L2正则化，在损失函数中添加一个由权重绝对值和平方组合而成的惩罚项，在特征选择（稀疏性）和权重收缩之间取得平衡。
- Dropout ：常用于神经网络的正则化技术。在训练期间，以预定义的概率随机将一层中的部分单元（神经元）置为零，有助于防止神经元的共同适应，鼓励网络学习更鲁棒的表示。Dropout仅在训练时应用，推理时使用所有单元，但它们的