- 博客(3)
- 收藏
- 关注
RSS订阅原创 Datawhale X 李宏毅苹果书 AI夏令营
为此，研究者们提出了其他归一化方法，例如层归一化（Layer Normalization）、实例归一化（Instance Normalization）、组归一化（Group Normalization）等，这些方法针对不同的应用场景提供了更加灵活的选择。然而，后续研究表明，批量归一化的真正效果在于平滑损失表面，减少其崎岖性，使得优化过程更为简单和稳定。批量归一化是一种有效的深度学习优化技术，通过对每层输入进行归一化处理，平滑了损失表面，显著加快了模型训练速度，提高了模型的泛化能力。
2024-09-03 19:27:12
342
原创 Datawhale X 李宏毅苹果书 AI夏令营
学习笔记之自适应学习率 1. 动量法（Momentum） 动量法旨在克服传统梯度下降法容易陷入局部最优解或鞍点的问题。 通过结合前一步的更新方向，可以使优化过程更具方向性，即使梯度方向改变，也可以延续原方向的动量，帮助越过局部最优。 2. 自适应学习率概述 自适应学习率方法为每个参数分配不同的学习率，优化不同方向的更新步伐。 当梯度较小且损失不再下降时，传统梯度下降可能停滞不前，自适应学习率能调整学习步伐继续优化。 3. 典型方法：AdaGrad AdaGrad（Adaptive Gradien
2024-08-31 23:13:35
314
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人