【机器学习】—— 各种梯度下降的变形momentum,adagrad,rmsprop,adam分别解决了什么问题

Momentum

Momentum的公式表达

设时间步$t$的自变量为${\mathbf{x}}_t$，学习率为${\eta }_t$。在$t_0$时刻，速度变量${\mathbf{v}}_0=0$，在时间步$t>0$，Momentum关于速度变量${\mathbf{v}}_t=0$和自变量${\mathbf{\theta }}_t$的迭代方式为：
$$\begin{array}{rl}{\mathbf{v}}_t& \leftarrow \gamma {\mathbf{v}}_{t-1}+{\eta }_t{\mathbf{g}}_t,\\ {\mathbf{\theta }}_t& \leftarrow {\mathbf{\theta }}_{t-1}-{\mathbf{v}}_t,\end{array}$$
其中 $\gamma$ 为超参数，满足$0\le \gamma <1$。
从上面的式子我们可以看出

• 速度变量${\mathbf{v}}_t$作用等价于梯度
• 速度变量${\mathbf{v}}_t$的大小与上一个时刻的速度变量$\mathbf{v}$