理论篇4：深度学习之----RMSprop优化器(3)

​
​

活动地址：优快云21天学习挑战赛

目录

介绍

RMSProp算法的全称叫 Root Mean Square Prop，是Geoffrey E. Hinton在Coursera课程中提出的一种优化算法，在Momentum优化算法中，虽然初步解决了优化中摆动幅度大的问题。但是对于参数更新过程，该摆动幅度还是可以进一步优化的，所以提出了RMSProp优化算法，以进一步减小再参数优化过程中的摆动幅度，

详细展示

所谓的摆动幅度就是在优化中经过更新之后参数的变化范围，如下图所示，蓝色的为Momentum优化算法所走的路线，绿色的为RMSProp优化算法所走的路线。

为了进一步优化损失函数在更新中存在摆动幅度过大的问题，并且进一步加快函数的收敛速度，RMSProp算法对权重 W 和偏置 b 的梯度使用了微分平方加权平均数。
其中，假设在第 t 轮迭代过程中，各个公式如下所示：

算法的主要思想就用上面的公式表达完毕了。在上面的公式中 $s_{d}w$ 和$s_{d}b$分别是损失函数在前 t−1轮迭代过程中累积的梯度梯度动量， ββ 是梯度累积的一个指数。所不同的是，RMSProp算法对梯度计算了 微分平方加权平均数。这种做法有利于消除了摆动幅度大的方向，用来修正摆动幅度，使得各个维度的摆动幅度都较小。另一方面也使得网络函数收敛更快。（比如当 $dW$ 或者 $db$ 中有一个值比较大的时候，那么我们在更新权重或者偏置的时候除以它之前累积的梯度的平方根，这样就可以使得更新幅度变小）。为了防止分母为零，使用了一个很小的数值 ϵ 来进行平滑，一般取值为 $10^8$。