梯度下降优化器：SGD -＞ SGDM -＞ NAG -＞AdaGrad -＞ AdaDelta -＞ Adam -＞ Nadam -＞ AdamW

目录

1 前言

2 梯度概念

3 一般梯度下降法

4 BGD

5 SGD

6 MBGD

7 Momentum

8 SGDM（SGD with momentum）

9 NAG(Nesterov Accelerated Gradient)

10 AdaGrad

11 RMSProp

12 Adadelta

13 Adam

13 Nadam

14 AdamW

15 Lion（EvoLved Sign Momentum)

16 参考

---

---

1 前言

深度学习梯度下降优化器经历了 SGD -> SGDM -> NAG ->AdaGrad -> AdaDelta -> Adam -> Nadam -> AdamW等。

2 梯度概念

在单变量的实值函数的情况，梯度只是导数。

双变量，梯度公式如下：

3 一般梯度下降法

梯度下降法目前主要分为三种方法,区别在于每次参数更新时计算的样本数据量不同：批量梯度下降法(BGD, Batch Gradient Descent)，随机梯度下降法(SGD, Stochastic Gradient Descent)及小批量梯度下降法(Mini-batch Gradient Descent)。

4 BGD

使用整个训练集的数据来计算损失函数对参数的梯度

在一次更新中，就对整个数据集计算梯度，所以计算起来非常慢，遇到很大量的数据集也会非常棘手，而且不能投入新数据实时更新模型。

5 SGD

和 BGD 的一次用所有数据计算梯度相比，SGD 每次更新时对每个样本进行梯度更新。

SGD的噪音较BGD要多，使得SGD并不是每次迭代都向着整体最优化方向。所以虽然训练速度快，但是准确度下降，并不是全局最优

6 MBGD

MBGD 每一次利用一小批样本，即 n 个样本进行计算，这样它可以降低参数更新时的方差，收敛更稳定，另一方面可以充分地利用深度学习库中高度优化的矩阵操作来进行更有效的梯度计算。

7 Momentum

指数加权移动平均算法（Exponentially Weighted Moving-Average, EWMA），是通过历史值和当前时间的观测值来估计一个时间序列的方法，如下面公式：

“动量”这个概念源自于