深度学习中的优化方法-Adadelta、RMSProp

码字不易，转载请注明出处~

tags: deep learning; optimizesr; Adadelta; RMSProp

AdaGrad虽然能够实现学习率的自适应，然而还是由于其本身存在的部分缺点导致使用起来并非很方便，比如学习率衰减比较快等。在凸优化问题中，是可以通过这种快速学习率衰减的方法来尽快达到最优点。然而，对于神经网络或者其它很多非凸问题，这种变化会导致网络在训练的中间就停止了参数的更新，从而达不到最优解，因此用起来问题还是存在的。而且，如果在网络刚开始训练的时候，梯度很大的话，那么在接下来的训练中会以非常小的学习率训练，想要改变这种情况，就得在开始的时候将学习率调整大一些。但是，如果在训练中还需要我们自己去调整学习率的话，那么这种“自适应”倒也没那么“自适应”。因此后面的Adadelta\RMSprop都在试图减轻这种衰减或者干脆改变策略，让它变得更加鲁棒。

局部梯度信息 vs 全局梯度信息

一种非常直观的做法就是，对于AdaGrad的学习率衰减不要那么大。原来不是从开始训练就一直在累计全部的梯度平方和么？那这会儿我们可以通过累计局部梯度信息，比如说本次之前的最近10次梯度平方和，那么这样的话，学习率衰减就会小很多。而最近的10次梯度累积信息到底怎么保存也是一个问题，因为对于神经网络来讲，参数数目动辄几百万，如果每一个参数的梯度信息都需要保存，尤其是参数值又比较大的情况，这样做需要的内存开销还是很大的。所以，Adadelta的作者采用了一种指数加权的移动平均的方法来进行计算。公式如下：
$$\mathbb{E}[g^2{]}_t=\rho \mathbb{E}[g^2{]}_{t-1}+(1-\rho )g_t⨀g_t\text{\hspace{1em}(1)}$$
其中，$\rho$表示的是衰减因子，和Momentum法中的$\alpha$作用相似，主要用于控制在t时刻之前要累计多少之前的梯度信息或者我们有多大程度相信之前所累计的梯度信息；$g_t$是t时刻的梯度，通过下式计算：
$$g_t=\frac{1}{m}\sum _{i=1}^m{\nabla }_{\theta }L(x^{(i)},y^{(i)},{\theta }_t)\text{\hspace{1em}(2)}$$
为什么上面的公式有效呢？
如果将上面的式(1)进行进一步展开，我们可以得到下面的式子：
$$\begin{array}{rl}\mathbb{E}[g^2{]}_t& =\rho \mathbb{E}[g^2{]}_{t-1}+(1-\rho )g_t⨀g_t\\ & =\rho [\rho \mathbb{E}[g^2{]}_{t-2}+(1-\rho )g_{t-1}⨀g_{t-1}]+(1-\rho )g_t⨀g_t\\ & =\cdots \\ & ={\rho }^k[\mathbb{E}[g^2{]}_{t-k}]+{\rho }^{k-1}(1-\rho )g_{t-k}⨀t-k+\cdots +(1-\rho )g_t⨀g_t\end{array}\text{\hspace{1em}(3)}$$
通常$\rho$都是小于1的正数，那么随着网络的不断迭代，初始时刻到现在的t时刻，每次累加的梯度信息所乘的因子是${\rho }^n、{\rho }^{n-1}\cdots \rho$，这样的话，只要通过控制$\rho$的大小，就可以使每次累加的梯度信息的权重减小不同的程度，越接近当前时刻，梯度权重越大，离现在时刻越久远，其梯度权重越小，影响也就越小。因此，这种方法称为指数加权移动平均
当计算出了局部的梯度信息之后，我们可以模仿AdaGrad中的做法，使用其均方根($RootMeanSquare$)作为实际运算中的因子。表示为下面的公式：
$$RMS[g{]}_t=\sqrt{\mathbb{E}[g^2{]}_t+\epsilon }\text{\hspace{1em}(4)}$$
其中的$\epsilon$同样是为了避免可能出现的除0错误，其值一般为$10^{-6}$左右，因为上面的(3)式最终会出现在分母项中，如下：
$${\theta }_{t+1}={\theta }_t-\frac{\eta }{RMS[g{]}_t}⨀g_t\text{\hspace{1em}(5)}$$
其实，写到这里，我们的公式(4)就是RMSProp算法了。因为它采用了“局部的”权重信息，所以使得梯度累加不是那么大，而且也不会一直衰减，在实际使用中用的还是比较多的。但是，这个算法依然没能解决需要手动设定初始学习率$\eta$的问题。所以还需要别的方法。

改变分子的$\eta$

上面的RMSProp算法中，需要计算
$$\nabla {\theta }_t=-\frac{\eta }{RMS[g{]}_t}⨀g_t\text{\hspace{1em}(6)}$$
然后在这项基础上，进行权重的更新：
$${\theta }_{t+1}={\theta }_t+\nabla {\theta }_t\text{\hspace{1em}(7)}$$
在上面我们已经知道了梯度的局部累积RMS[g]，如果我们能够想办法将分子中的$\eta$换成一个能够根据梯度信息自动变化的量，那么就可以不用设置学习率了，从而也就实现了学习率的自适应。
因此，如果我们计算下面的公式：
$$\mathbb{E}[\Delta {\theta }^2{]}_t=\rho \mathbb{E}[\Delta {\theta }^2{]}_{t-1}+(1-\rho )\Delta {\theta }_t⨀\Delta {\theta }_t\text{\hspace{1em}(8)}$$
同样，对其进行开方处理，则可以的得到$RMS[\Delta \theta {]}_t$。
目前，我们仍然不知道$\Delta {\theta }_t$，因为这项其实正事我们要求的。但是，假设我们所需要学习的函数映射在局部是光滑的，那么可以用前一次更新的参数$\Delta {\theta }_{t-1}$近似$\Delta {\theta }_t$
这样的话，参数的更新就变成了
$${\theta }_{t+1}={\theta }_t-\frac{RMS[\Delta \theta {]}_{t-1}}{RMS[g{]}_t}⨀g_t\text{\hspace{1em}(9)}$$
这样，就完全摆脱了学习率，可以根据历史参数更新和当前计算的梯度来更新权重参数。
其实，这块的推导过程比较复杂，至少对于我这种数学基础较差的是比较吃力的，真正背后的原理还是得靠不断积累理解，而我这里仅仅先知道这样一个结果吧。

RMSprop和Adadelta

通过上面的式子对比，其实可以看到，如果在RMSprop中将$\rho$设为0.5，那么指数加权平均过程就变成了梯度平方和的平均数。而RMSprop其实是Adadelta的一种特殊情况，其依然靠的是全局的学习率。

参考

1. M. D. Zeiler, “Adadelta: An Adaptive Learning Rate Method” (2012)
2. G. Hinton, N. Srivastava, K. Swersky, “Lecture 6a: Overview of mini–batch gradient descent” (2012)
3. I. Goodfellow, Y. Bengio, A. Courville, “Deep Learning” (2016)