SGD、Momentum、RMSprop、Adam区别与联系

最新推荐文章于 2025-05-19 09:02:18 发布
转载 最新推荐文章于 2025-05-19 09:02:18 发布 · 1.4w 阅读 · 40
文章标签：

#深度学习 #优化算法

本文介绍了几种常见的优化算法，包括SGD及其改进版如带有动量的SGD (SGD with Momentum) 和带有Nesterov加速的SGD (SGD with Nesterov Acceleration)，以及自适应学习率算法如AdaGrad、RMSProp和Adam等。这些算法通过引入动量和自适应学习率来提高训练效率，避免局部最小值和鞍点。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

转载地址：https://zhuanlan.zhihu.com/p/32488889

优化算法框架：

  1. 计算目标函数关于当前参数的梯度： g_{t}=\nabla f(w_{t})\\
  2. 根据历史梯度计算一阶动量和二阶动量： m_{t}=\phi(g_{1},g_{2},...,g_{t})\\ V_{t}=\psi(g_{1},g_{2},...,g_{t})
  3. 计算当前时刻的下降梯度： \eta_{t}=\frac{\alpha}{\sqrt{V_{t}}}\cdot m_{t}\\
  4. 根据下降梯度进行更新： w_{t+1}=w_{t}-\eta_{t}\\

最核心的区别就是第三步所执行的下降方向，在这个式子中，前半部分是实际的学习率（也即下降步长），后半部分是实际的下降方向。不同优化算法也就是不断地在这两部分上做文章。

最朴素的优化算法就是SGD了，没有动量和自适应学习率的概念，但还是有很多人在用着。


SGD

梯度更新规则:

SGD的形式最简单

\eta_{t}=\alpha\cdot g_{t}\\

存在问题:

因为更新比较频繁，会造成 cost function 有严重的震荡，最终停留在Local Minima或者Saddle Point处。

为了能够跳出Local Minima和Saddle Point，提出了动量的概念。


SGD with Momentum

梯度更新规则:

Momentum在梯度下降的过程中加入了惯性，使得梯度方向不变的维度上速度变快，梯度方向有所改变的维度上的更新速度变慢，这样就可以加快收敛并减小震荡。

m_{t}=\beta_{1}\cdot m_{t-1}+(1-\beta_{1})\cdot g_{t}\\

一阶动量是移动平均值，这里 \beta_{1} 的经验值为0.9，也就是说时刻t的主要下降方向是由t-1时刻的下降方向再加一点点t时刻的偏向决定的。

存在问题:

  1. 不具备一些先知，例如快要上坡时，就知道需要减速了，适应性会更好；
  2. 不能根据参数的重要性而对不同的参数进行不同程度的更新。


SGD with Nesterov Acceleration

NAG改进了SGDM的第一个存在问题，在计算梯度时，不是在当前位置，而是未来的位置上。因此这里的梯度是跟着累积动量走了一步后的梯度，即 g_{t}=\nabla f(w_{t}-\frac{\alpha}{\sqrt{V_{t-1}}}\cdot m_{t-1})\\

我们希望能够根据参数的重要性而对不同的参数进行不同程度的更新，学习率是自适应的。对于经常更新的参数，我们已经积累了大量关于它的知识，不希望被单个样本影响太大，希望学习速率慢一些；对于偶尔更新的参数，我们了解的信息太少，希望能从每个偶然出现的样本身上多学一些，即学习速率大一些。


AdaGrad

梯度更新规则:

二阶动量为该维度上迄今为止所有梯度值的平方和

V_{t}=\sum_{\tau=1}^{t}{g_{\tau}^{2}}\\

为了避免分母为0，加了一项随机扰动

\eta_{ti}=\frac{\alpha}{\sqrt{V_{ti}+\varepsilon}}\cdot m_{ti}\\


存在问题:

分母会不断积累，这样学习率就会收缩并最终会变得非常小。


RMSProp

梯度更新规则:

解决Adagrad学习率急剧下降的问题，RMSProp改变了二阶动量计算方法，即用窗口滑动加权平均值计算二阶动量。

V_{t}=\beta_{2}\cdot V_{t-1}+(1-\beta_{2})g_{t}^{2}\\

Hinton 建议设定 \beta_{2} 为 0.9, 学习率 \alpha 为 0.001。

集成动量+自适应学习率的优化算法应该是目前最好的。


Adam

梯度更新规则:

Adam = Adaptive + Momentum，顾名思义Adam集成了SGD的一阶动量和RMSProp的二阶动量。

m_{t}=\beta_{1}\cdot m_{t-1}+(1-\beta_{1})\cdot g_{t}\\ V_{t}=\beta_{2}\cdot V_{t-1}+(1-\beta_{2})g_{t}^{2}\\

优化算法里最常见的两个超参数 \beta_1, \beta_2 就都在这里了，前者控制一阶动量，后者控制二阶动量。

若在Adam基础上再加一个Nesterov加速，是不是更牛逼了，这就是Nadam。 5.34c-.314.314-.3.846.03 1.177z” fill-rule=”evenodd”>

Adam原理详解 Adam和SGD之间的主要区别是什么？
优快云 精品推荐
08-08 2381
总体来说，Adam算法结合了动量方法和自适应学习率的优点，使得参数更新更平稳，更适应不同参数的梯度情况。然而，对于不同问题，调整超参数仍然是重要的，因为不同的数据和模型结构可能需要不同的设置。具体而言，它会计算修正后的梯度，将梯度除以sqrt(m)和v的平方根，以调整学习率的大小。然后，通过将修正后的梯度与参数结合，进行参数更新。它维护了每个参数的自适应学习率变量，用来根据参数的梯度和历史梯度信息来调整学习率的大小。在Adam中，除了维护动量项v，还维护了参数的一阶矩估计（均值）m，用来估计参数的梯度。
SGD优化器和Adam区别
胭脂草的ABC博客
03-25 3329
综上所述，选择哪种优化器取决于具体任务的需求，包括计算资源、收敛速度、鲁棒性以及对超参数调整的容忍度。
adam优化_深度学习优化：Momentum、RMSProp 和 Adam
weixin_39911998的博客
11-27 455
【转】知乎在另一篇文章中，我们讨论了随机梯度下降的具体细节，以及如何解决诸如卡在局部极小值或鞍点上的问题。在这篇文章中，我们讨论另外一个困扰神经网络训练的问题，病态曲率。 虽然局部极小值和鞍点会阻碍我们的训练，但病态曲率会减慢训练的速度，以至于从事机器学习的人可能会认为搜索已经收敛到一个次优的极小值。让我们深入了解什么是病态曲率。病态曲率考虑以下损失曲线图。**病态曲率**如你所知，我们在进入一个...
优化算法实战：SGD 与 Adam，该选哪个更适合你？
最新发布
zyh252609的博客
05-19 1426
在训练深度学习模型时，我们的目标是让模型预测更准确。为了达到这个目的，我们需要“调整”模型里的参数，使得预测误差（损失）尽可能小。这个“调整参数”的过程，本质上就是一个优化问题，而优化算法就是解决这个问题的“搬砖工具”。SGD（随机梯度下降）这两种方式看起来只是几行代码的切换，但对训练速度、收敛稳定性、甚至模型表现都会有非常大的影响。不要一上来就“Adam 全场”，也别盲信“SGD 是信仰”。优化算法的选择，和你任务类型、数据集大小、实验预算都息息相关。Adam 是调试利器，SGD 是生产武器。
SGD学习器和Adam学习器之间的区别与关系
m0_75015083的博客
11-06 1696
（随机梯度下降）和（Adaptive Moment Estimation）是两种常用的优化算法，在训练神经网络时，它们都用来最小化损失函数并更新模型参数。尽管它们有相似的目标，但在更新规则和效率上有所不同。
SGD和Adam优化算法区别
qq_45654059的博客
10-20 5758
深度学习二分类问题，选择使用已经训练好的resnet。 在用Adam微调模型时，发现性能很差。 在用SGD（随机梯度下降）时，效果很好。 原因在于是二分类问题，数据的分布好计算，更适合SGD，而对于Adam更适合计算复杂分布的数据 ...
sgd优化器和Adam优化器之间的区别
热门推荐
Kp0fS的草稿纸
07-26 1万+
Adam = Adaptive + Momentum，顾名思义Adam集成了SGD的一阶动量和RMSProp的二阶动量。 参考： https://blog.youkuaiyun.com/q295684174/article/details/79130666
SGD和Adam
bl128ve900的博客
07-10 9347
按吴恩达老师所说的，梯度下降（Gradient Descent）就好比一个人想从高山上奔跑到山谷最低点，用最快的方式（steepest）奔向最低的位置（minimum）。 SGD基本公式 动量(Momentum) 参考链接：https://distill.pub/2017/momentum/ 基本的mini-batch SGD优化算法在深度学习取得很多不错的成...
Momentum&Adam
yb564645735的博客
12-14 392
momentum&adam python实现
各种优化方法总结比较(sgd/momentum/Nesterov/adagrad/adadelta)
weixin_30419799的博客
12-18 1886
前言 这里讨论的优化问题指的是，给定目标函数f(x)，我们需要找到一组参数x，使得f(x)的值最小。 本文以下内容假设读者已经了解机器学习基本知识，和梯度下降的原理。 Batch gradient descent 梯度更新规则: BGD 采用整个训练集的数据来计算 cost function 对参数的梯度： 缺点: 由于这种方法是...
Adam和SGD优化算法比较
dc爱傲雪和技术
04-02 7928
Adam和SGD（随机梯度下降）是两种广泛使用的优化算法，它们在深度学习模型训练中有不同的特性和表现。
#深入探究# Adam和SGDM优化器的对比
lch551218的博客
06-07 1万+
1. Adma 和 MSGD Adam和MSGD作为当今最优秀的两种深度学习优化器，分别在效率和精度上有着各自的优势，下面我们将分析两种优化器各自优势的原因，两边的两张图分别是 几种常见的优化器在猫狗分类数据集上的分类准确率曲线，第一个是训练集，第二个是测试集 以下两张图是某个NLP任务中，几种模型的准确率和困惑度指标变换曲线 通过上边两幅图片可知： Adma在训练集上的准确率较高，MSGD在测试集上的准确率较高 Adma的速度更快，但MSGD能够得到好的效果 第一个结论可以用下边这个图来解释：
SGD、Momentum、 AdaGrad、Adam
A496608119的博客
04-08 2232
目录 1.SGD 1.1 SGD的缺点 2. Momentum 3. AdaGrad 4. Adam 5 使用哪种更新方法呢 神经网络的学习的目的是找到使损失函数的值尽可能小的参数。这是寻找最优参数的问题，解决这个问题的过程称为最优化（optimization）。遗憾的是，神经网络的最优化问题非常难。 为了找到最优参数，我们将参数的梯度（导数）作为了线索。使用参数的梯度，沿梯度方向更新参数，并重复这个步骤多次，从而逐渐靠近最优参数，这个过程称为随机梯度下降法（stochastic gradie
一个框架看懂优化算法之异同 SGD/AdaGrad/Adam
u010451638的博客
10-16 383
转自 https://zhuanlan.zhihu.com/p/32230623 Adam那么棒，为什么还对SGD念念不忘 (1) —— 一个框架看懂优化算法 机器学习界有一群炼丹师，他们每天的日常是： 拿来药材（数据），架起八卦炉（模型），点着六味真火（优化算法），就摇着蒲扇等着丹药出炉了。 不过，当过厨子的都知道，同样的食材，同样的菜谱，但火候不一样了，这出来的口味可是千差万别。火小了夹生，火大了易糊，火不匀则半生半糊。 机器学习也是一样，模型优化算法的选择直接关系到最终模型的性能。有时候效果不好，未必
SGD、Momentum、AdaGrad、RMSProp和Adam的区别
m0_50833438的博客
09-14 2064
SGD是最基本的优化算法之一。它通过在每次迭代中计算损失函数关于权重的梯度（对一小批量训练样本），然后沿着梯度的反方向来最小化损失。
adam优化算法_机器学习中的优化算法(2)-Momentum, RMSProp, AdaM
weixin_42553471的博客
12-31 580
郝曌骏：机器学习中的优化算法(1)​zhuanlan.zhihu.com第一篇介绍了这系列文章的思路,罗列了重要的数学记号,并讲了标准梯度下降法(GD, Gradient Descent)和Momentum机制.今天我们换个角度来解释Momentum,然后介绍RMSProp(Root Mean Square Propagation)和AdaM(Adaptive Moment Algo).换角度看M...
深度学习入门——Mini-batch、Momentum与Adam算法
yasNing
03-15 2740
基于不同优化算法更新神经网络中的参数 学习记录自：deeplearning.ai-andrewNG-master 一、 优化算法概述 1.1 常用优化算法 在机器学习或深度学习中，一般采取梯度下降对参数进行优化更新，本文主要讨论Mini-Batch算法、Momentum算法、RMSprop以及Adam算法。 1.2 为什么要改进梯度下降 对于一个数据量适中的数据集而言，可以直接利用梯度下降或者随机梯度下降(Stochastic Gradient Descent)。此时在整个训练集进行梯度下降优化不会消耗
深度学习常用优化器总结，具详细（SGD,Momentum,AdaGrad,Rmsprop,Adam,Adamw）
qq_42714262的博客
07-25 1700
优化器的本质是使用不同的策略进行参数更新。常用的方法就是梯度下降，那梯度下降是指在给定待优化的模型参数θ∈Rdθ∈Rd，和目标函数JθJ(\theta)Jθ，算法通过沿梯度∇Jθ∇Jθ的反方向更新权重θ\thetaθ，来最小化目标函数。学习率μ\muμ决定了每一时刻的更新步长。
深度学习优化算法实现(Momentum, Adam)
萝卜地里的兔子的博客
08-19 3134
目录Momentum初始化更新参数Adam初始化更新参数 除了常见的梯度下降法外，还有几种比较通用的优化算法；表现都优于梯度下降法。本文只记录完成吴恩达深度学习作业时遇到的Momentum和Adam算法，而且只有简要的代码。具体原理请看深度学习优化算法解析(Momentum, RMSProp, Adam),比较具体的说明了吴恩达版本的三种优化算法的讲述！ Momentum 初始化 def init...
几种优化算法（sgd、momentum、rmsprop、Adam区别与联系）
01-22
### 不同优化算法之间的区别与联系 #### 随机梯度下降 (SGD) 随机梯度下降(SGD) 是一种简单有效的最优化方法，在每次迭代过程中只使用单个样本或少量样本来估计整个数据集上的梯度。这种方法减少了计算成本并引入了一定程度的噪声，有助于跳出局部最优解[^1]。 ```python optimizer = torch.optim.SGD(model.parameters(), lr=0.01, momentum=0.9) ``` #### 动量法 (Momentum) 动量法通过累积历史梯度来加速 SGD 收敛过程中的运动趋势，从而减少震荡幅度。具体来说，动量项会考虑之前几次迭代的方向，使得当前更新更加平滑稳定。这可以有效缓解鞍点附近的学习困难问题[^2]。 ```python optimizer = torch.optim.SGD(model.parameters(), lr=0.01, momentum=0.9) ``` #### RMSProp 为了克服传统 SGD 及其变体可能存在的振荡过大以及收敛缓慢等问题,RMSProp 对权重 \(W\) 和偏置 \(b\) 的梯度采用了微分平方加权平均数的方法来进行调整。这种方式能够动态调节各个维度上不同的学习速率，进而提高整体性能表现。 ```python optimizer = torch.optim.RMSprop(model.parameters(), lr=0.01, alpha=0.99) ``` #### 自适应矩估计 (Adam) Adam 结合了 Momentum 和 RMSProp 两种策略的优势：一方面利用指数衰减均值来跟踪全局一阶矩；另一方面则基于二阶矩信息来自适应地改变各参数的学习率大小。这种组合方式不仅继承了前两者快速收敛的特点，还具备更强鲁棒性和泛化能力。 ```python optimizer = torch.optim.Adam(model.parameters(), lr=0.001, betas=(0.9, 0.999)) ``` 综上所述： - **SGD** 提供了一个基础框架； - **Momentum** 在此基础上增加了惯性效应以帮助更快更平稳地下降； - **RMSProp** 则专注于解决特定情况下（如高维空间内）可能出现的问题； - 而 **Adam** 综合运用多种技术手段实现了更为高效稳定的训练流程。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值