Adam:一种随机优化方法

Adam是一种用于优化随机目标函数的算法,它基于一阶梯度,并利用损失函数对每个参数的梯度的一阶矩估计和二阶矩估计动态调整学习速率。Adam算法能够避免因大的梯度导致的学习步长过大问题,使得参数值更为稳定。

 我们介绍Adam,这是一种基于一阶梯度来优化随机目标函数的算法。

 

简介:

    Adam 这个名字来源于 adaptive moment estimation,自适应矩估计。概率论中矩的含义是:如果一个随机变量 X 服从某个分布,X 的一阶矩是 E(X),也就是样本平均值,X 的二阶矩就是 E(X^2),也就是样本平方的平均值。Adam 算法根据损失函数对每个参数的梯度的一阶矩估计和二阶矩估计动态调整针对于每个参数的学习速率。Adam 也是基于梯度下降的方法,但是每次迭代参数的学习步长都有一个确定的范围,不会因为很大的梯度导致很大的学习步长,参数的值比较稳定。it does not require stationary objective, works with sparse gradients, naturally performs a form of step size annealing。

 

 

 下面是在实验室作报告的ppt,关于ADAM。

 

 

 

 

 

附录:

 

随机目标函数

随即目标函数的含义是,在训练过程的每一次迭代中,目标函数是不一样的。有时候因为内存不够大或者其他的原因,算法不会一下子读取全部记录来计算误差,而是选择选择对数据集进行分割,在每次迭代中只读取一部分记录进行训练,这一部分记录称为minibatch,这样每次迭代所使用的小批量数据集就是不同的,数据集不同,损失函数就不同,因此就有随机目标函数的说法。另外还有一个原因就是,采用小批量方式来进行训练,可以降低收敛到局部最优的风险(想象一个在凹凸不平的地面上运动的小球,小球很容易陷入一些小坑,这些小坑并不是最低点)。

 

 

数据集:

 

[1]http://www.cnblogs.com/tornadomeet/p/3258122.html

这些优化器都是用于机器学习模型训练过程中的参数更新算法,它们并非分布式学习方法本身,而是帮助单台计算机提升学习效率的工具。 1. **随机梯度下降(SGD)**:这是一种基本的优化算法,每次迭代只考虑样本的一个随机梯度,适合大数据集,但它可能会在平坦区域徘徊或震荡。 2. **动量(Momentum)**:引入了一个"记忆"机制,即结合当前梯度和过去移动的方向,使得搜索方向更加稳定,有助于跳出局部极小值。 3. **Nesterov加速梯度(Nesterov Accelerated Gradient, NAG)**:在动量的基础上提前一步计算,预计未来的位置,进一步加速梯度下降的过程。 4. **AdaGrad**:自适应学习率算法,对每一个参数都维护一个单独的学习率,对于稀疏数据特别有效,但长期而言,学习率可能会过早变得非常小。 5. **RMSprop (Root Mean Square Propagation)**:在AdaGrad基础上改进,采用指数移动平均来调整学习率,更好地平衡全局和局部的梯度影响。 6. **Adam**:一种结合了动量和RMSprop的优化器,它使用了动量项和学习率衰减,能够适应不同的权重更新,尤其在深度学习中广泛应用。 以上优化器都不是分布式学习方法,因为它们主要针对的是单个设备上模型的训练。然而,有些变体如Mini-batch SGD是在分布式环境下常用的一种策略,将数据分成小批次进行并行计算。而真正的分布式学习方法,如Spark、Hadoop等,会涉及到多台计算机间的协同工作。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值