梯度下降算法小结

原创于 2017-10-10 17:40:21 发布 · 392 阅读

0 ·

CC 4.0 BY-SA版权

机器学习专栏收录该内容

96 篇文章

订阅专栏

本文总结了梯度下降算法及其多种优化策略，包括原始梯度下降、批量梯度下降、随机梯度下降等，并介绍了Momentum、Adagrad、Adam等高级优化方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

   本文对梯度下降算法及其优化进行小结，本文读者假定读者对机器学习基本理论及梯度下降有一定的了解。

## 一.涉及的算法
1. 原始梯度下降
2. Batch gradient descent
3. Stocastic gradint descent
4. mini-batch gradient descent
5. Momentum
6. Nesterov
7. Adagrad
8. Adadelta
9. RMSprop
10. Adam
11. AdaMax
12. Nadam
13. 其他优化SGD的策略