Adam

最新推荐文章于 2024-10-16 06:08:42 发布

原创最新推荐文章于 2024-10-16 06:08:42 发布 · 1.5k 阅读

6 ·

CC 4.0 BY-SA版权

机器学习算法同时被 2 个专栏收录

6 篇文章

订阅专栏

统计学

4 篇文章

订阅专栏

Adam方法同样融合了 AdaGrad和RMSProp，更新公式如下：

w t = w t - 1 - α * m t ^ v t ^ - - \sqrt + ϵ

$w_{t} = w_{t-1} - \alpha * \frac{\hat {m_t}}{\sqrt{\hat{v_t}}+\epsilon}$
其中

t $t$ 表示次数，

mt^ $\hat{m_t}$ 为

mt $m_t$ 的纠正，

vt^ $\hat{v_t}$ 为

vt $v_t$ 的纠正

m t^= m t 1 - β t 1

$\hat{m_t}=\frac{m_t}{1- \beta_1^t}$

v t^= v t 1 - β t 2

$\hat{v_t}=\frac{v_t}{1- \beta_2^t}$

β1 $\beta_1$ 和

β2 $\beta_2$ 是常数，控制指数衰减，

mt $m_t$ 是梯度的指数移动均值，通过梯度的一阶矩求得。

vt $v_t$ 是平方梯度，通过梯度的二阶矩求得。

mt $m_t$ 和

vt $v_t$ 的更新如下：

m t = β 1 * m t - 1 + (1 - β 1) * g t

$m_t = \beta_1 * m_{t-1} + (1- \beta _1)*g_t$

v t = β 2 * v t - 1 + (1 - β 2) * g 2 t

$v_t = \beta_2 * v_{t-1} + (1- \beta _2)*g_t^2$

gt $g_t$ 为一阶导。以上所有参数的默认设置为：

α=0.001，β1=0.9，β2=0.999，ϵ=10−8 $\alpha = 0.001，\beta_1 = 0.9，\beta_2 = 0.999，\epsilon = 10^{-8}$

在文章中，指明 $\hat{m_t}/ \sqrt{\hat{v_t}}$ 当值很小时，也意味这对目前的方向越不确定，就会有更小的步长，也是一种自动退火的形式。
参考：
Kingma D P, Ba J. Adam: A method for stochastic optimization[J]. arXiv preprint arXiv:1412.6980, 2014.