21、梯度下降策略解析

梯度下降策略解析

1. RMSProp算法

RMSProp算法在估计 $A_i$ 时，采用指数平均而非简单地累加平方梯度。其基本思想是使用衰减因子 $\rho \in(0, 1)$，对 $t$ 次更新前的平方偏导数赋予权重 $\rho^t$。具体更新 $A_i$ 的方式如下：
[A_i \Leftarrow \rho A_i + (1 - \rho) \left(\frac{\partial L}{\partial w_i}\right)^2, \forall i]
每个参数的该值的平方根用于归一化其梯度，然后使用以下公式更新全局学习率 $\alpha$：
[w_i \Leftarrow w_i - \frac{\alpha}{\sqrt{A_i}} \frac{\partial L}{\partial w_i}, \forall i]
为避免病态条件，分母中可使用 $\sqrt{A_i} + \epsilon$ 代替 $\sqrt{A_i}$，其中 $\epsilon$ 是一个小的正值，如 $10^{-8}$。RMSProp 相较于 AdaGrad 的优势在于，陈旧梯度的重要性会随时间呈指数衰减，并且可在计算算法中融入动量概念。不过，其缺点是二阶矩的运行估计 $A_i$ 在早期迭代中存在偏差，因为它初始化为 0。

2. 结合Nesterov动量的RMSProp

RMSProp 还可与 Nesterov 动量结合。引入额外参数 $\beta \in(0, 1)$，更新公式如下：
[v_i \Leftarrow \beta v_i - \frac{\alpha}{\sqrt{A_i}} \frac{\partial L(W +