adadelta算法_【深度学习】深入理解优化器Optimizer算法（BGD、SGD、MBGD、Momentum、NAG、Adagrad、Adadelta、RMSprop、Adam）...

最新推荐文章于 2025-03-05 17:44:01 发布
最新推荐文章于 2025-03-05 17:44:01 发布
阅读量403 收藏 1
点赞数
CC 4.0 BY-SA版权
文章标签： adadelta算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_39966376/article/details/111851035
本文详细介绍了Batch Gradient Descent、Stochastic Gradient Descent (SGD) 和 Mini-Batch Gradient Descent三种梯度下降算法的工作原理及优缺点。此外，还讨论了针对SGD存在的问题而提出的改进算法，如Momentum、Nesterov Accelerated Gradient、Adagrad、Adadelta、RMSprop以及Adam等。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Batch gradient descent 对于凸函数可以收敛到全局极小值，对于非凸函数可以收敛到局部极小值。

2.Stochastic Gradient Descent (SGD)

梯度更新规则:

和 BGD 的一次用所有数据计算梯度相比，SGD 每次更新时对每个样本进行梯度更新，对于很大的数据集来说，可能会有相似的样本，这样 BGD 在计算梯度时会出现冗余，而SGD 一次只进行一次更新，就没有冗余，而且比较快，并且可以新增样本。

for i inrange(nb_epochs):

np.random.shuffle(data)for example indata:

params_grad=evaluate_gradient(loss_function, example, params)

params= params - learning_rate * params_grad

看代码，可以看到区别，就是整体数据集是个循环，其中对每个样本进行一次参数更新。

随机梯度下降是通过每个样本来迭代更新一次，如果样本量很大的情况，那么可能只用其中部分的样本，就已经将theta迭代到最优解了，对比上面的批量梯度下降，迭代一次需要用到十几万训练样本，一次迭代不可能最优，如果迭代10次的话就需要遍历训练样本10次。缺点是SGD的噪音较BGD要多，使得SGD并不是每次迭代都向着整体最优化方向。所以虽然训练速度快，但是准确度下降，并不是全局最优。虽然包含一定的随机性，但是从期望上来看，它是等于正确的导数的。

缺点：

SGD 因为更新比较频繁，会造成 cost function 有严重的震荡。

BGD 可以收敛到局部极小值，当然 SGD 的震荡可能会跳到更好的局部极小值处。

当我们稍微减小 learning rate，SGD 和 BGD 的收敛性是一样的。

3.Mini-Batch Gradient Descent (MBGD)

梯度更新规则：

MBGD 每一次利用一小批样本，即 n 个样本进行计算，这样它可以降低参数更新时的方差，收敛更稳定，另一方面可以充分地利用深度学习库中高度优化的矩阵操作来进行更有效的梯度计算。

和 SGD 的区别是每一次循环不是作用于每个样本，而是具有 n 个样本的批次。

for i inrange(nb_epochs):

np.random.shuffle(data)for batch in get_batches(data, batch_size=50):

params_grad=evaluate_gradient(loss_function, batch, params)

params= params - learning_rate * params_grad

超参数设定值:  n 一般取值在 50～256

缺点：(两大缺点)

不过 Mini-batch gradient descent 不能保证很好的收敛性，learning rate 如果选择的太小，收敛速度会很慢，如果太大，loss function 就会在极小值处不停地震荡甚至偏离。(有一种措施是先设定大一点的学习率，当两次迭代之间的变化低于某个阈值后，就减小 learning rate，不过这个阈值的设定需要提前写好，这样的话就不能够适应数据集的特点。)对于非凸函数，还要避免陷于局部极小值处，或者鞍点处，因为鞍点周围的error是一样的，所有维度的梯度都接近于0，SGD 很容易被困在这里。(会在鞍点或者局部最小点震荡跳动，因为在此点处，如果是训练集全集带入即BGD，则优化会停止不动，如果是mini-batch或者SGD，每次找到的梯度都是不同的，就会发生震荡，来回跳动。)

SGD对所有参数更新时应用同样的 learning rate，如果我们的数据是稀疏的，我们更希望对出现频率低的特征进行大一点的更新。LR会随着更新的次数逐渐变小。

鞍点就是：一个光滑函数的鞍点邻域的曲线，曲面，或超曲面，都位于这点的切线的不同边。例如这个二维图形，像个马鞍：在x-轴方向往上曲，在y-轴方向往下曲，鞍点就是(0，0)。

为了应对上面的两点挑战就有了下面这些算法。

前期知识：指数加权平均，请参看博文《什么是指数加权平均、偏差修正？》

［应对挑战 1］

4.Momentum

SGD 在 ravines 的情况下容易被困住， ravines 就是曲面的一个方向比另一个方向更陡，这时 SGD 会发生震荡而迟迟不能接近极小值：

梯度更新规则:

Momentum 通过加入 γ*vt−1 ，可以加速 SGD， 并且抑制震荡

当我们将一个小球从山上滚下来时，没有阻力的话，它的动量会越来越大，但是如果遇到了阻力，速度就会变小。

加入的这一项，可以使得梯度方向不变的维度上速度变快，梯度方向有所改变的维度上的更新速度变慢，这样就可以加快收敛并减小震荡。

超参数设定值:  一般 γ 取值 0.9 左右。

缺点：

这种情况相当于小球从山上滚下来时是在盲目地沿着坡滚，如果它能具备一些先知，例如快要上坡时，就知道需要减速了的话，适应性会更好。

5.Nesterov Accelerated Gradient

梯度更新规则:

用 θ−γv_t−1 来近似当做参数下一步会变成的值，则在计算梯度时，不是在当前位置，而是未来的位置上

超参数设定值:  一般 γ 仍取值 0.9 左右。

效果比较：

蓝色是 Momentum 的过程，会先计算当前的梯度，然后在更新后的累积梯度后会有一个大的跳跃。

而 NAG 会先在前一步的累积梯度上(brown vector)有一个大的跳跃，然后衡量一下梯度做一下修正(red vector)，这种预期的更新可以避免我们走的太快。

NAG 可以使 RNN 在很多任务上有更好的表现。

目前为止，我们可以做到，在更新梯度时顺应 loss function 的梯度来调整速度，并且对 SGD 进行加速。

我们还希望可以根据参数的重要性而对不同的参数进行不同程度的更新。

［应对挑战 2］

6.Adagrad (Adaptive gradient algorithm)

这个算法就可以对低频的参数做较大的更新，对高频的做较小的更新，也因此，对于稀疏的数据它的表现很好，很好地提高了 SGD 的鲁棒性，例如识别 Youtube 视频里面的猫，训练 GloVe word embeddings，因为它们都是需要在低频的特征上有更大的更新。

梯度更新规则:

其中 g 为：t 时刻参数 θ_i 的梯度

如果是普通的 SGD， 那么 θ_i 在每一时刻的梯度更新公式为：

但这里的 learning rate η 也随 t 和 i 而变：

其中 Gt 是个对角矩阵， (i,i) 元素就是 t 时刻参数 θi 的梯度平方和。

Adagrad 的优点是减少了学习率的手动调节

超参数设定值：一般η选取0.01

缺点：

它的缺点是分母会不断积累，这样学习率就会收缩并最终会变得非常小。

7.Adadelta

这个算法是对 Adagrad 的改进，

和 Adagrad 相比，就是分母的 G 换成了过去的梯度平方的衰减平均值，指数衰减平均值

这个分母相当于梯度的均方根 root mean squared (RMS)，在数据统计分析中，将所有值平方求和，求其均值，再开平方，就得到均方根值 ，所以可以用 RMS 简写：

其中 E 的计算公式如下，t 时刻的依赖于前一时刻的平均和当前的梯度：

梯度更新规则:

此外，还将学习率 η 换成了 RMS[Δθ]，这样的话，我们甚至都不需要提前设定学习率了：

超参数设定值:  γ 一般设定为 0.9

7.RMSprop

RMSprop 是 Geoff Hinton 提出的一种自适应学习率方法。

RMSprop 和 Adadelta 都是为了解决 Adagrad 学习率急剧下降问题的，

梯度更新规则:

RMSprop 与 Adadelta 的第一种形式相同：(使用的是指数加权平均，旨在消除梯度下降中的摆动，与Momentum的效果一样，某一维度的导数比较大，则指数加权平均就大，某一维度的导数比较小，则其指数加权平均就小，这样就保证了各维度导数都在一个量级，进而减少了摆动。允许使用一个更大的学习率η)

超参数设定值:

Hinton 建议设定 γ 为 0.9, 学习率 η 为 0.001。

8.Adam：Adaptive Moment Estimation

这个算法是另一种计算每个参数的自适应学习率的方法。相当于 RMSprop + Momentum

除了像 Adadelta 和 RMSprop 一样存储了过去梯度的平方 vt 的指数衰减平均值 ，也像 momentum 一样保持了过去梯度 mt 的指数衰减平均值：

如果 mt 和 vt 被初始化为 0 向量，那它们就会向 0 偏置，所以做了偏差校正，通过计算偏差校正后的 mt 和 vt 来抵消这些偏差：

梯度更新规则:

超参数设定值:

建议 β1 ＝ 0.9，β2 ＝ 0.999，ϵ ＝ 10e−8

实践表明，Adam 比其他适应性学习方法效果要好。

二.效果比较

下面看一下几种算法在鞍点和等高线上的表现：

SGD optimization on saddle point

SGD optimization on loss surface contours

上面两种情况都可以看出，Adagrad, Adadelta, RMSprop 几乎很快就找到了正确的方向并前进，收敛速度也相当快，而其它方法要么很慢，要么走了很多弯路才找到。

由图可知自适应学习率方法即 Adagrad, Adadelta, RMSprop, Adam 在这种情景下会更合适而且收敛性更好。

三.如何选择优化算法

如果数据是稀疏的，就用自适用方法，即 Adagrad, Adadelta, RMSprop, Adam。

RMSprop, Adadelta, Adam 在很多情况下的效果是相似的。

Adam 就是在 RMSprop 的基础上加了 bias-correction 和 momentum，

随着梯度变的稀疏，Adam 比 RMSprop 效果会好。

整体来讲，Adam 是最好的选择。

很多论文里都会用 SGD，没有 momentum 等。SGD 虽然能达到极小值，但是比其它算法用的时间长，而且可能会被困在鞍点。

如果需要更快的收敛，或者是训练更深更复杂的神经网络，需要用一种自适应的算法。

AdaDelta算法
XiangJiaoJun_的博客
11-11 2万+
记录一下自己的学习过程~也能让自己的印象更深吧 AdaDelta算法主要是为了解决AdaGrad算法中存在的缺陷，下面先介绍一下AdaGrad算法优点和以及存在的问题： AdaGrad的迭代公式如下所示： Δxt=η∑i=1tgi2∗gt\Delta{x_{t}}=\frac{\eta}{\sqrt{\sum_{i=1}^{t}{g_i^2}}}*g_tΔxt​=∑i=1t​gi2​​η​∗gt​...
优化算法optimization：RMSProp
八门金锁的技术博客
12-15 811
RMSProp算法 提出动机 在AdaGrad的每次迭代中，因为调整学习率时分母上的变量sts_tst​一直在累加按元素平方的小批量随机梯度，所以目标函数自变量每个元素的学习率在迭代过程中一直在降低（或不变）。因此，如果AdaGrad算法没有在前期找到较优解，在迭代后期由于学习率过小更难趋近最优解。 RMSProp算法通过融合指数加权移动平均对这一点进行了改良。简单来说，RMSProp融合了动量法和AdaGrad的优点。 算法 对每次迭代做如下改动 st=γst−1+(1−γ)gt∘gtxt=xt−1−ηs
Adadelta算法
m0_73426548的博客
03-05 396
​ 是一种自适应学习率优化算法，由 ​​ 于 2012 年提出，旨在解决 ​​ 的问题。它通过动态调整学习率，同时消除对初始学习率的依赖，在非平稳目标函数（如 RNN）和深度学习任务中表现优异。lr=0.01。
深度学习--优化器
weixin_42764932的博客
12-17 603
深度学习-优化器基本框架非自适应学习率SGDMomentumNesterov自适应学习率AdagradAdadeltaAdamAdamaxNadam小结 这里是引用https://blog.csdn.net/u012759136/article/details/52302426/?ops_request_misc=&request_id=&biz_id=102&utm_term=sgd%2520adam&utm_medium=distribute.pc_search_res
损失能收敛到0么 深度学习_深度学习网络收敛之后的loss数值代表什么？
weixin_39964833的博客
12-19 1389
我来回答里面蕴含的小问题，或许对作者提出的整体问题有帮助：loss 几乎不变了，这是为什么？因为梯度下降法的一个固有属性，只能求 ️近似解。优化网络时，我们是在使用梯度下降方法去求解这样一个问题：当loss为零时，loss公式内的未知数是几？下面是详细分析：设. loss = x*x，未知数是x.然后咱们用梯度下降法求解这样一个问题：当loss为零时，x是几？先求梯度： d(loss)/dx = ...
深度学习——优化器算法Optimizer详解（BGD、SGD、MBGD、Momentum、NAG、Adagrad、Adadelta、RMSprop、Adam）
2301_79571396的博客
06-16 1473
首先来看一下梯度下降最常见的三种变形 BGD，SGD，MBGD，这三种形式的区别就是取决于我们用多少数据来计算目标函数的梯度，这样的话自然就涉及到一个 trade－off，即参数更新的准确率和运行时间。
【深度学习】深入理解优化器Optimizer算法（BGD、SGD、MBGD、Momentum、NAG、Adagrad、Adadelta、RMSprop、Adam）...
郭耀华's Blog | 人工智能领域技术博客
04-10 224
在机器学习、深度学习中使用的优化算法除了常见的梯度下降，还有 Adadelta，Adagrad，RMSProp 等几种优化器，都是什么呢，又该怎么选择呢？ 在 Sebastian Ruder 的这篇论文中给出了常用优化器的比较，今天来学习一下：https://arxiv.org/pdf/1609.04747.pdf 本文将梳理： 每个算法的梯度更...
深度学习各种优化算法（BGD,SGD,Momentum,AdaGrad,RMSProp,Adam）
William Zhao's notes
04-18 2478
標準梯度下降法： 彙總所有樣本的總誤差，然後根據總誤差更新權值 SGD隨機梯度下降： mini batch代替全部樣本 曲面的某個方向更加陡峭的時候會被困住 Xt+1=Xt-α Δf(x1) 隨機抽取一個樣本誤差，然後更新權值 （每個樣本都更新一次權值，可能造成的誤差比較大） 批量梯度下降法：相當於前兩種的折中方案，抽取一個批次的樣本計算總誤差，比如總樣本有10000個...
深度学习优化算法-AdaDelta算法
我亦是行人
01-02 5176
AdaDelta算法 除了RMSProp算法以外，另一个常用优化算法AdaDelta算法也针对AdaGrad算法在迭代后期可能较难找到有用解的问题做了改进 [1]。 不一样的是，AdaDelta算法没有学习率这个超参数。 它通过使用有关自变量更新量平方的指数加权移动平均的项来替代RMSProp算法中的学习率。 AdaDelta算法也像RMSProp算法一样，使用了小批量随机梯度gt\boldsymbol{g}_tgt​按元素平方的指数加权移动平均变量st\boldsymbol{s}_tst​。 在时间步0
【代码】优化算法BGD、SGD、Momentum、Adam算法python实现
热门推荐
crazyang的博客
11-29 4万+
最近研究了一下梯度下降的几个算法，网上python的源码少且不清晰，我自己全部实现了一遍，我觉得还是相当清晰明了的，话不多说，且看下文： 文章目录梯度下降批量梯度下降BGD随机梯度下降SGD带动量的随机梯度下降Momentum-SGDAdam 梯度下降 对于目标函数 J(θ)J(\theta)J(θ) ，找到目标函数的梯度方向 ∇θ(J(θ))\nabla_\theta(J (\theta)...
adadelta算法_Momentum、Adagrad、RMSprop、Adadelta、Adam优化算法
weixin_32331453的博客
12-23 674
点击蓝字关注我哦先放一张公式汇总图No.1Momentum算法Momentum算法借用了物理中的动量概念，使得参数更新的时候在一定程度上保留之前更新的方向，同时利用当前batch的梯度微调最终的更新方向。如果把原始的 SGD 想象成一个纸团在重力作用向下滚动，由于纸团质量小受到山壁弹力的干扰大，导致来回震荡；或者在鞍点处因为质量小速度很快减为 0，导致无法离开这块平地。Momentum方...
优化算法 - Adadelta
yingzi的技术博客
09-16 731
Adadelta是AdaGrad的另一种变体，主要区别在于前者减少了学习率适应坐标的数量。此外，广义上Adadelta被称为没有学习率，因为它使用变化量作为未来变化的校准。Adadelta需要为每个变量维护两个状态变量，即。
【深度学习笔记】7_7 AdaDelta算法
RIKI_1
03-12 1065
注：本文为开源内容，部分标注了个人理解，仅为个人学习记录，无抄袭搬运意图。
adadelta算法_优化算法：AdaGrad | RMSProp | AdaDelta | Adam
weixin_39530647的博客
12-22 253
0 - 引入简单的梯度下降等优化算法存在一个问题：目标函数自变量的每一个元素在相同时间步都使用同一个学习率来迭代，如果存在如下图的情况(不同自变量的梯度值有较大差别时候)，存在如下问题：选择较小的学习率会使得梯度较大的自变量迭代过慢选择较大的学习率会使得梯度较小的自变量迭代发散　　因此，自然而然想到，要解决这一问题，不同自变量应该根据梯度的不同有不同的学习率。本篇介绍的几种优化算法都是基于这个思想...
adadelta算法_神经网络中常用的优化算法
weixin_39683021的博客
12-25 379
优化算法的目的：1. 跳出局部极值点或鞍点，寻找全局最小值；2.使训练过程更加稳定，更加容易收敛。优化算法的改进无非两方面：1.方向--加动量，2.学习速率--加衰减 1.SGD 2.[Momentum](https://zh.d2l.ai/chapter_optimization/momentum.html) 常取0.9. 从学习率的角度理解动量法：指数加权移动平均，也可以理解为滑动窗口。...
【最全干货】从SGD到NadaMax，十种机器学习优化算法原理及实现
深度学习技术前沿
11-28 695
点击上方，选择星标或置顶，不定期资源大放送！阅读大概需要15分钟Follow小博主，每天更新前沿干货作者丨永远在你身后@知乎来源丨https://zhuanlan.zhihu.com/p...
深度学习loss值变为0_详解深度强化学习展现TensorFlow 2.0新特性（代码）
weixin_39696518的博客
11-25 557
自TensorFlow官方发布其2.0版本新性能以来，不少人可能对此会有些许困惑。因此这一篇概述性的文章，通过实现深度强化学习算法来具体的展示了TensorFlow 2.0的特性。正所谓实践出真知。TensorFlow 2.0的特性公布已经有一段时间了，但很多人对此应当还是一头雾水。在本教程中，作者通过深度强化学习(DRL)来展示即将到来的TensorFlow 2.0的特性，具体来讲就是通过实现优...
优化算法5:--Adadelta算法
chenjiale5的博客
08-01 4749
Adadelta算法是Adagrad算法的延伸，与RMSProp算法一样，是为了解决Adagrad中学习率不断减小的问题，RMSProp是通过移动加权平均的方式，Adadelta也一样，并且Adadelta不需要学习率这个参数 RMSProp算法 Adadelta的分母和RMSProp的分母一致 需要更新参数的变化量为 分子表示的是每次更新梯度变化量的累加量 最后的参数更新如下 实现 opt...
动手学深度学习：7.7 AdaDelta算法
qq_38888209的博客
08-11 439
7.7 AdaDelta算法除了RMSProp算法以外，另一个常用优化算法AdaDelta算法也针对AdaGrad算法在迭代后期可能较难找到有用解的问题做了改进 [1]。有意思的是，AdaDelta算法没有学习率这一超参数。7.7.1 算法AdaDelta算法也像RMSProp算法一样，使用了小批量随机梯度gtgt \boldsymbol{g}_tΔxt​。我们按AdaDelta算法中的公式实现该算法。%matplotlib inline import torch import sys sys.p
优化算法展开
最新发布
07-17
### 优化算法详解 在机器学习和深度学习中，优化算法是训练模型的核心工具之一。优化算法的目标是通过最小化损失函数（或代价函数）来找到最优的模型参数。以下是对几种常见优化算法的详细说明： #### 梯度下降法（Gradient Descent） 梯度下降法是一种经典的优化算法，其核心思想是沿着损失函数的负梯度方向更新参数，以逐步逼近最小值。根据每次更新使用的数据量，梯度下降可以分为以下几种形式： - **批量梯度下降（Batch Gradient Descent, BGD）**：每次迭代使用整个训练集计算梯度。这种方法计算稳定，但计算成本高。 - **随机梯度下降（Stochastic Gradient Descent, SGD）**：每次迭代仅使用一个样本计算梯度。这种方法计算速度快，但更新过程可能较为不稳定。 - **小批量梯度下降（Mini-Batch Gradient Descent, MBGD）**：每次迭代使用一小批样本计算梯度，是BGD和SGD的折中方案，兼顾了计算效率和稳定性[^1]。 #### 梯度下降法的改进 为了克服标准梯度下降法的不足（如收敛速度慢、容易陷入局部最优等），研究者提出了多种改进算法： - **动量法（Momentum）**：在梯度下降的基础上引入动量项，加速梯度方向上的更新，并抑制震荡。 - **Nesterov Accelerated Gradient (NAG)**：与动量法类似，但先根据动量方向进行预测，再计算梯度进行更新，具有更好的收敛性。 - **Adagrad**：为每个参数分配独立的学习率，适用于稀疏数据。 - **Adadelta**：改进了Adagrad，解决了学习率逐渐衰减至零的问题。 - **RMSprop**：通过引入指数加权移动平均，解决了Adagrad的学习率衰减问题。 - **Adam**：结合了动量法和RMSprop的优点，是目前深度学习中最常用的优化器之一。 #### 牛顿法与拟牛顿法（Newton's Method & Quasi-Newton Methods） - **牛顿法**：利用损失函数的二阶导数（Hessian矩阵）来加速收敛，通常比梯度下降法更快，但计算Hessian矩阵及其逆矩阵的成本较高。 - **拟牛顿法**：通过近似Hessian矩阵或其逆矩阵来减少计算成本，常见的拟牛顿法包括BFGS和L-BFGS。 #### 共轭梯度法（Conjugate Gradient） 共轭梯度法是一种介于梯度下降法和牛顿法之间的优化算法。它不需要计算Hessian矩阵，但比梯度下降法具有更快的收敛速度，适用于大规模问题。 #### 优化算法的选择 在实际应用中，选择合适的优化算法需要综合考虑以下因素： - 数据规模：对于大规模数据集，通常选择SGD或Adam。 - 模型复杂度：对于复杂模型，可能需要使用自适应学习率算法（如Adam）。 - 计算资源：如果计算资源有限，可以选择MBGD或拟牛顿法。 #### 代码实现 以下是一个使用PyTorch实现Adam优化器的示例代码： ```python import torch import torch.nn as nn import torch.optim as optim # 定义一个简单的线性模型 model = nn.Linear(10, 1) # 定义损失函数 criterion = nn.MSELoss() # 定义Adam优化器 optimizer = optim.Adam(model.parameters(), lr=0.001) # 模拟输入数据 inputs = torch.randn(32, 10) targets = torch.randn(32, 1) # 前向传播 outputs = model(inputs) loss = criterion(outputs, targets) # 反向传播和优化 optimizer.zero_grad() loss.backward() optimizer.step() ``` #### 局部最优与鞍点问题 在优化过程中，局部最优和鞍点问题是常见的挑战。局部最优是指优化算法收敛到一个局部最小值而非全局最小值。鞍点则是指在某些方向上梯度为零，但并非极值点。现代优化算法（如Adam）通过动量和自适应学习率机制，能够在一定程度上缓解这些问题[^3]。 ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值