- 博客(2)
- 收藏
- 关注
RSS订阅原创 【李宏毅深度学习】探索深度学习中的批量与动量：如何优化你的训练过程？- Datawhale X 李宏毅苹果书 AI夏令营 Task1.2
批量大小和动量法是深度学习中优化训练过程的重要工具。通过合理选择批量大小和动量参数，可以在提升训练速度的同时，增强模型的泛化能力和稳定性。实验表明，小批量训练的模型在测试集上的表现往往优于大批量训练的模型，这使得在高维参数空间中，小批量成为一种强有力的优化策略。的选择，对训练过程的效率和效果有着深远的影响。本文将深入介绍这两个关键概念，以及如何利用它们提升模型的训练表现。它通过引入前一次更新的动量，帮助模型克服局部极小值和鞍点。动量法的核心在于结合当前梯度与历史梯度更新的方向，使得训练过程更加平滑和高效。
2024-08-26 20:42:23
338
原创 【李宏毅深度学习】局部极小值与鞍点 - Datawhale X 李宏毅苹果书 AI夏令营 Day1
在深度学习的优化过程中，局部极小值与鞍点是两个常见的“陷阱”，它们可能会阻碍模型的进一步优化，导致损失函数无法继续下降。深度学习的优化之路并非一帆风顺，局部极小值和鞍点是我们常遇到的挑战。了解并掌握这些概念与应对策略，将帮助你更好地训练深度学习模型，避免陷入优化的死胡同。，我们可以沿着特征值为负的方向更新参数，从而逃离鞍点，继续优化模型。这一过程相对复杂，实际中通常不会直接计算海森矩阵，而是采用其他优化策略，如。如果有正有负特征值，该临界点则为鞍点。因此，优化过程中更多时候遇到的是鞍点，而非局部极小值。
2024-08-22 22:43:24
312
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人