优化算法

随机梯度下降

随机梯度下降法每次采样单个样本来估计当前的梯度，即：

$$\begin{array}{rl}{g}_t& ={\nabla }_{{\theta }_{t-1}}f({\theta }_{t-1})\\ \Delta {\theta }_t& =-\eta g_t\end{array}$$

其中$\eta$是学习率，$g_t$是SGD完全依赖于当前样本计算的梯度，所以$\eta$可理解为当前样本多大程度上能影响参数更新。

动量(Momentum)法

momentum模拟物理中动量的概念，累计之前的动量替代之前的梯度。公式如下：

$$\begin{array}{rl}{v}_{d{W}^{[l]}}& =\beta v_{d{W}^{[l]}}+(1-\beta )d{W}^{[l]}\\ W^{[l]}& =W^{[l]}-\alpha v_{d{W}^{[l]}}\end{array}$$

其中$\alpha$时学习率，$\beta$是动量因子。$v_{d{W}^{[l]}}$

Nesterov动量法

nesterov项在梯度更新时做了一个校正，避免前进的太快，同时提高灵敏度。将momentum中的公式展开可得：

$$\Delta {\theta }_t=-\eta \ast \mu \ast m_{t-1}-\eta \ast g_t$$

可以看出，$m_{t-1}$并没有直接改变当前梯度$g_t$，所以Nesterov的改进就是让之前的动量直接影响当前的动量。即：

$$\begin{array}{rl}{g}_t& ={\nabla }_{{\theta }_{t-1}}f({\theta }_{t-1}-\eta \ast \mu \ast m_{t-1})\\ m_t& =\mu \ast m_{t-1}+g_t\\ \Delta {\theta }_t& =-\eta \ast m_t\end{array}$$

所以，加了Nesterov项之后，梯度在大的跳跃后，进行计算对当前梯度进行校正。如下图：
momentum首先计算一个梯度(短的蓝色向量)，然后在加速更新梯度的方向进行一个大的跳跃(长的蓝色向量)，nesterov项首先在之前加速的梯度方向进行一个大的跳跃(棕色向量)，计算梯度然后进行校正(绿色梯向量)

AdaGrad

AdaGrad其实是对学习率进行了一个约束。即：

$$\begin{array}{rl}{n}_t& =n_{t-1}+g_t^2\\ \Delta {\theta }_t& =-\frac{\eta }{\sqrt{n_t+ϵ}}\ast g_t\end{array}$$

此处，对$g_t$从1到$t$进行一个递推形成一个约束项regularizer，$-\frac{1}{\sqrt{{\sum }_{r=1}^t(g_{\tau }{)}^2+ϵ}}$，$ϵ$用来保证分母非0。

AdaDelta

Adadelta是对Adagrad的扩展，最初方案依然是对学习率进行自适应约束，但是进行了计算上的简化。 Adagrad会累加之前所有的梯度平方，而Adadelta只累加固定大小的项，并且也不直接存储这些项，仅仅是近似计算对应的平均值。即：

$$\begin{array}{rl}{n}_t& =\nu \ast n_{t-1}+(1-\nu )\ast g_t^2\\ \Delta {\theta }_t& =-\frac{\eta }{\sqrt{n_t+ϵ}}\ast g_t\end{array}$$

在此处Adadelta其实还是依赖于全局学习率的，但是作者做了一定处理，经过近似牛顿迭代法之后：

$$\begin{array}{rl}E|g^2{|}_t& =\rho \ast E|g^2{|}_{t-1}+(1-\rho )\ast g_t^2\\ \Delta x_t& =-\frac{\sqrt{{\sum }_{r=1}^{t-1}\Delta x_r}}{\sqrt{E|g^2{|}_t+ϵ}}\end{array}$$

其中，$E$代表求期望
此时，可以看出Adadelta已经不用依赖全局学习率了。

RMSprop

RMSprop可以算作Adadelta的一个特例：
当$\rho =0.5$时，$E|g^2{|}_t$就变成了梯度平方和的平均数。
如果再求平方根就变成了RMS（均方根）：

$$RMS|g{|}_t=\sqrt{E|g^2{|}_t+ϵ}$$

此时，这个RMS就可以作为学习率$\eta$的一个约束：

$$\Delta x_t=-\frac{\eta }{RMS|g{|}_t}\ast g_t$$

Adam

Adam(Adaptive Momentum Estimation)本质上是带有动量项的RMSprop，它利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率。Adam的优点主要在于经过偏置校正后，每一次迭代学习率都有个确定范围，使得参数比较平稳。公式如下：

$$\begin{array}{rl}{m}_t& =\mu \ast m_{t-1}+(1-\mu )\ast g_t\\ n_t& =\nu \ast n_{t-1}+(1-\nu )\ast g_t^2\\ \widehat{m_t}& =\frac{m_t}{1-{\mu }^t}\\ \widehat{n_t}& =\frac{n_t}{1-{\nu }^t}\\ \Delta {\theta }_t& =-\frac{\widehat{m_t}}{\sqrt{\widehat{n_t}}+ϵ}\ast \eta \end{array}$$

其中，$m_t$，$n_t$分别是对梯度的一阶矩估计和二阶矩估计，可以看作对期望$E|g_t|$，$E|g_t^2|$的估计；$\widehat{m_t}$，$\widehat{n_t}$是对$m_t$，$n_t$的校正，这样可以近似为对期望的无偏估计。 可以看出，直接对梯度的矩估计对内存没有额外的要求，而且可以根据梯度进行动态调整，而$-\frac{\widehat{m_t}}{\sqrt{\widehat{n_t}}+ϵ}$对学习率形成一个动态约束，而且有明确的范围。