Deep learning II - II Optimization algorithms - RMSprop (Root Mean Square prop)均方根传递

RMSprop

---

• 相较于gradient descent with momentum，RMSprop的思想是，对于梯度震动较大的项，在下降时，减小其下降速度；对于震动幅度小的项，在下降时，加速其下降速度。
• 通过使用指数加权平均计算得到$S_{{\rm d}w},\ S_{{\rm d}b}$；使用他们来更新参数（如下图所示）
  

$$S_{{\rm d}w} = \beta S_{{\rm d}w} + (1-\beta){\rm d}w^2$$
$$S_{{\rm d}b} = \beta S_{{\rm d}b} + (1-\beta){\rm d}b^2$$
$$w := w - \alpha \frac{{\rm d}w}{\sqrt{S_{{\rm d}w}}+\epsilon}$$
$$b := b - \alpha \frac{{\rm d}b}{\sqrt{S_{{\rm d}b}}+\epsilon}$$

• $\epsilon = 10^{-8}$，是为了保证分母不为零；${\rm d}w^2$和${\rm d}b^2$指的是element-wise