深度学习最优化（四）—— 动量法/Nesterov/Adagrad/Adadelta/RMSprop/Adam/Nadam

最新推荐文章于 2025-10-19 10:39:23 发布
原创 最新推荐文章于 2025-10-19 10:39:23 发布 · 5.1k 阅读 · 14 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#最优化 #adam #Adagrad #RMSprop #Momentum

本文详细介绍了深度学习优化中的几种算法，包括SGD、动量法、Nesterov、Adagrad、RMSprop、Adadelta、Adam以及Nadam。这些算法针对梯度下降中的问题提出解决方案，如学习率选择、局部最优等，其中Adam和Nadam结合了一阶和二阶动量，表现出良好的优化效果。

1. SGD

现在的SGD一般都指小批量梯度下降，即每一次迭代计算mini-batch的梯度，然后对参数进行更新。

               g_{t}= \triangledown _{\theta_{t-1}}J(\theta_{t-1})

              \triangle \theta _t = -\eta \ast g_t

              \theta _t = \theta _{t-1}+\triangle \theta _t

其中\theta _t是模型参数，J(\theta _{t-1})是模型目标函数，g_t是目标函数的梯度，\eta是学习率。

难点（缺点）：

          （1）学习率的选择。过低收敛缓慢，过高无法收敛。

          （2）“之字形”的出现，即在陡谷（一种在一个方向的弯曲程度远大于其他方向的表面弯曲情况）处震荡。如下图所示

2. 动量法（Momentum）

               m_t=\mu \ast m_{t-1}-\eta g_t

               

最低0.47元/天 解锁文章
【05】深度学习——最优化与深度学习关系 | 损失函数、性质 | 梯度下降 | 随机、小批量梯度下降 | 动量法 | AdaGrad | RMSProp/AdaDelta |Adam | 学习率调节器
小浪宝宝的博客
09-12 350
梯度下降法的目标是为了求解损失函数JJJ，有三要素，1是起始点；2是梯度，找到方向，一只减小；3是学习率。wt1wt−α∇Jwt1​wt​−α∇J​本节介绍了RMSProp/AdamDelta两种二阶动量优化方法，几乎同一时期提出的梯度下降算法的变体，动态调整学习率。基本思路：时序累加修改二阶动量，动态调整学习率。定义一个简单的模型，维度为8的一层全连接网络，激活函数为ReLU函数。# 定义一个简单的模型。
优化法——动量法
大脸猫的博客
03-13 1432
动量梯度下降（Gradient Descent With Momentum），简称为动量方法（Momentum），运行速度几乎总是快于标准的梯度下降算法，并且能够解决随机梯度下降所遇到的山谷震荡以及鞍部停滞问题，这部分内容请阅读上一篇博客梯度下降算法。 根据梯度下降算法的参数更新公式： 参数的更新仅仅取决于当前位置的梯度以及步长，试想一下这样一个情境：我们将某一个物品往山谷里丢，在梯度下降算法的规则下，该物品仅仅收到当前触碰在它身上的力，而忽略其他的力，例如重力、空气阻力等等。我们可以把它想象成一张
一阶动量和二阶动量及Adam等优化算法笔记
fire_lch316的博客
01-14 4986
就按照 从动量和矩的角度探讨优化理论的内涵(以动量法、AdaGrad和Adam举例) - 知乎 的讲解学习，讲的挺细的。这里补充一些笔记方便以后自己复习用。 1.AdaGrad算法 其中说到了“如果目标函数有关自变量中某个元素的偏导数一直都较大，那么该元素的学习率讲下降较快；反之，如果目标函数有关自变量中某个元素的偏导数一直都较少，那么该元素的学习率将下降较慢”。我认为这是站在SGD的角度来看的。 SGD的梯度更新如下 对于SGD来说，其学习率一直是,然后相较之下AdaGrad算法的学习
十三、机器学习进阶知识：神经网络之反向传播算法（自适应矩估计算法Adam变形形式之Adamax、Nadam）
weixin_42051846的博客
04-17 1928
本文主要介绍了反向传播算法中的自适应矩估计算法（Adam）的两种变形形式Adamax和Nadam，同时以神经网络数据预测为例对它的实现过程进行了说明，通俗易懂，适合新手学习，附源码及实验数据集。
神经网络的优化器（十）Nadam
最新发布
白话机器学习
10-19 297
Nadam算法是结合Adam优化器和Nesterov动量的深度学习优化方法，由Tim Salimans等人于2016年提出。其核心特点是通过修正动量项$\hat{m}_t^{'}$，在自适应学习率基础上引入Nesterov加速效果，从而提升收敛速度。该算法综合了Adam的自适应特性和Nesterov动量的前瞻性优势，特别适合处理深度神经网络训练任务。但需注意其超参数调优复杂度较高，可能引发训练震荡，且计算负担相对较大。实验表明，Nadam在稀疏数据等场景下表现出色，但需谨慎设置学习率和衰减系数。
一阶动量与二阶动量：深度学习中的优化加速器
chen的博客
05-23 1932
在深度学习的训练过程中，优化算法扮演着至关重要的角色。选择合适的优化算法可以显著提高模型的训练效率和性能。一阶动量和二阶动量是两种常用的优化技术，它们通过不同的方式帮助模型更快地收敛到最优解。本文将探讨一阶动量和二阶动量在深度学习中的作用。
动量法,,
m0_63642362的博客
06-09 533
动量法
动量法（Momentum）
m0_51200050的博客
06-30 3183
动量法通过引入动量项，使得参数更新不仅依赖于当前的梯度，还考虑了之前梯度的累积效果，从而加速收敛并减少参数更新时的震荡。通过具体数据示例，可以清楚地看到动量法如何在每次迭代中逐步更新动量项和参数，使模型逐步逼近最优解。
动量法(Momentum)
LS_Ai的博客
08-06 1599
动量法通过在梯度下降中引入动量项，能够加速收敛，并减少更新过程中的震荡。这使得动量法在许多优化问题中表现出色，尤其是在复杂函数的优化中。通过直观的图形展示，我们可以更好地理解动量法的优化过程和效果。
【Keras】各个优化器的介绍与使用（动量优化，Nesterov， AdaGrad，RMSProp，Adam和Nadam优化）
GW_Krystal的博客
10-22 1957
动量优化；动量优化将沿着山谷滚得越来越快，知道达到谷底（最优解）。Nesterov加速梯度（Nersterov Accelerated Gradient，NAG）也称为Nesterov动量优化，它不是在局部位置$\theta$，而是在$\theta+\beta m$处，沿动量方向稍微提前处，测量成本函数的梯度。AdaGrad算法通过沿着最陡峭的维度按比例缩小梯度向量来实现，更早地纠正其方向。RMSProp算法通过只是累加最近迭代中的梯度（而不是自训练开始以来的所有梯度），通过在第一步中使用指数衰减来实现；A
深度学习中常用的优化算法(SGD, Nesterov,Adagrad,RMSProp,Adam)总结
生命在于折腾！
11-10 5534
深度学习中常用的优化算法(SGD, Nesterov,Adagrad,RMSProp,Adam)总结 1. 引言 在深度学习中我们定义了损失函数以后，会采取各种各样的方法来降低损失函数，从而使模型参数不断的逼近于真实数据的表达。不过损失函数的数值只是我们用来优化模型中参数的一个参考量，我们是通过优化损失函数来间接地优化模型参数，并提高模型的度量指标。而优化算法的作用就是加快模型的收敛，取得最优值。...
深度学习最全优化方法总结比较（SGD，Adagrad，Adadelta，Adam，Adamax，Nadam）
weixin_30853329的博客
09-07 966
深度学习最全优化方法总结比较（SGD，Adagrad，Adadelta，Adam，Adamax，Nadam） ycszen Semantic Segmentation / changqianyu.me 1,652 人赞同了该文章 前言 （标题不能再中二了）本文仅对一些常见的优化方法进行直观介绍和简单的比...
深度学习之动量momentum介绍
yueguang8的博客
06-03 1552
动量是深度学习中非常重要的优化技术,它能有效提高训练的稳定性和收敛速度。掌握动量的原理和使用方法对于训练高性能的深度学习模型非常关键。
深度模型中的优化(四)、动量(momentum)和Nesterov动量
weixin_36670529的博客
09-21 3303
一、动量 虽然随机梯度下降仍然是非常受欢迎的优化方法，但其学习过程有时会很慢。动量方法旨在加速学习，特别是处理高曲率、小但一致的梯度，或是带噪声的梯度。动量算法积累了之前梯度指数级衰减的移动平均，并且继续沿该方向移动。从形式上看，动量算法引入了变量v充当速度角色------它代表参数在参数空间移动的方向和速率。速度被设为负梯度的指数衰减平均。名称动量来自物理类比，根据牛顿运动定律，负梯度是移动参...
《动手学深度学习》之动量法
乾巽的博客
02-07 784
q: 为什么要用动量法 a: 梯度下降存在以下问题: 一个输入和输出分别为二维向量x=[x1,x2]T和 标量的目标函数f(x)=0.1x12 + 2x22 基于这个目标函数的梯度下降，并演示使用学习率为0.40.4时自变量的迭代轨迹。 import sys sys.path.append("d2lzh_pytorch.py") import d2lzh_pytorch as d2l impo...
深度学习---动量法
qq_24503095的博客
12-26 932
损失函数有关自变量的梯度代表了损失函数在自变量当前位置下降最快的方向。因此，梯度下降也叫作最陡下降。在每次迭代中，梯度下降根据自变量当前位置，沿着当前位置的梯度更新自变量，然而，如果自变量的迭代方向仅仅取决于自变量当前位置，可能会带来一些问题。 例如：损失函数为f(x)=0.1x12+2x22f(x)=0.1x_1^2 + 2x_2^2f(x)=0.1x12​+2x22​ 该函数在x1,x2x_1...
动量法-momentum
hbkybkzw的博客
06-20 641
动量法是一种优化梯度更新的方法，借鉴物理学中的动量概念，在梯度更新时不仅考虑当前梯度，还参考历史梯度趋势。主要分为标准动量法和指数加权平均动量法，通过引入动量系数β（通常取值0.5-0.99）来平滑梯度。该方法在多个场景具有优势：通过拐点时能利用历史梯度继续前进；在缓坡场景中标准动量法可显著加速收敛；能帮助逃离局部极小值；指数加权法可部分缓解悬崖问题；在最小值点附近能减少震荡。然而标准动量法在悬崖地形可能加剧跳跃，而指数加权法虽然平滑梯度但缓坡加速效果有限。
优化算法 - 动量法
yingzi的技术博客
09-16 1207
从构造来看，x2⽅向的梯度⽐⽔平x1⽅向的梯度⼤得多，变化也快得多。因此，我们陷⼊两难：如果选择较⼩的学习率，我们会确保解不会在x2⽅向发散，但要承受在x1⽅向的缓慢收敛。在优化问题条件不佳的情况下（例如，有些方向的进展比其他方向慢得多，类似狭窄的峡谷），“加速”梯度还额外享受更有效的好处。新的梯度替换不再指定特定实例下降最陡的方向，而是指向过去梯度的加权平均值的方向。唯一的变化是，在这种情况下，我们将梯度。在本节中，我们将讨论更有效的优化算法，尤其是针对实验中常见的某些类型的优化问题。
33. 动量法（Momentum）介绍
qq_41238579的博客
07-10 769
尽管深度学习中的动量与物理学中的动量并不完全相同，但它们都强调了一个概念：在运动方向上保持运动的趋势，从而加速收敛。1. **加速收敛**：动量法通过积累之前的梯度信息，使得优化过程更为顺畅，避免了曲折路径，提高了收敛速度。2. **跳过局部最小值**：由于动量的累积作用，可以帮助优化算法跳过一些局部最小值，找到更优的解。3. **减少振荡**：动量法可以有效减小学习过程中梯度震荡的现象，使得模型的训练更加稳定。2. **参数调节**：动量法引入了新的超参数（动量系数），需要在实际应用中进行调节。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值