Adam优化算法(Adam optimization algorithm)

最新推荐文章于 2025-03-12 20:29:03 发布

bestrivern

最新推荐文章于 2025-03-12 20:29:03 发布

阅读量4.7w

点赞数 12

分类专栏： deep learning

本文链接：https://blog.youkuaiyun.com/bestrivern/article/details/86161039

版权

deep learning 专栏收录该内容

49 篇文章

订阅专栏

一.算法概述及实现步骤

Adam优化算法基本上就是将Momentum和RMSprop结合在一起。

1.初始化 $V_{d\omega }=0,S_{d\omega }=0,V_{db}=0,S_{db}=0$

2.在第t次迭代中，用mini-batch梯度下降法计算出 $d\omega$ 和 $db$

3.计算Momentum指数加权平均数

4.用RMSprop进行更新

5.计算Momentum和RMSprop的偏差修正

6.更新权重

Adam的参数配置：

$\alpha$ ：同样也称为学习率或步长因子，它控制了权重的更新比率（如 0.001）。较大的值（如 0.3）在学习率更新前会有更快的初始学习，而较小的值（如 1.0E-5）会令训练收敛到更好的性能。

$\beta _{1}$ ：一阶矩估计的指数衰减率（如 0.9）。

$\beta _{2}$ ：二阶矩估计的指数衰减率（如 0.999）。该超参数在稀疏梯度（如在 NLP 或计算机视觉任务中）中应该设置为接近 1 的数。

$\epsilon$ ：该参数是非常小的数，其为了防止在实现中除以零（如 10E-8）。

在流行的深度学习库中，参数的默认设置如下：

TensorFlow：learning_rate=0.001, beta1=0.9, beta2=0.999, epsilon=1e-08.

Keras：lr=0.001, beta_1=0.9, beta_2=0.999, epsilon=1e-08, decay=0.0.
Blocks：learning_rate=0.002, beta1=0.9, beta2=0.999, epsilon=1e-08, decay_factor=1.
Lasagne：learning_rate=0.001, beta1=0.9, beta2=0.999, epsilon=1e-08
Caffe：learning_rate=0.001, beta1=0.9, beta2=0.999, epsilon=1e-08
MxNet：learning_rate=0.001, beta1=0.9, beta2=0.999, epsilon=1e-8
Torch：learning_rate=0.001, beta1=0.9, beta2=0.999, epsilon=1e-8