优化器：SGD with Momentum

原创 已于 2022-03-25 17:21:02 修改 · 1.5k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#算法 #深度学习 #python

于 2022-03-25 17:18:38 首次发布
本文介绍了指数加权平均的概念及其在近似求平均中的应用，并详细解释了如何利用该方法来改进随机梯度下降算法（SGD），形成SGDwithMomentum，以实现更平滑的梯度下降过程。

（1）指数加权平均：一种近似求平均的方法，公式如下：

v_{t}=\beta \ast v_{t-1}+(1-\beta )\theta _{t}

v_{t}代表局部的平均值。\theta _{t}代表第t个数据的值。\beta是可调节超参。可近似为前\frac{1}{1-\beta }个数据的的平均值。

举例说明，设\beta=0.9，则近似代表近10个数据的平均值：

v_{4}=0.9v_{3}+0.1\theta _{4}=0.9(0.9v_{2}+0.1\theta _{3})+0.1\theta _{4}=0.81v_{2}+0.09\theta _{3}+0.1\theta _{4}=0.81(0.9v_{1}+0.1\theta _{2})+0.09\theta _{3}+0.1\theta _{4}=0.729v_{1}+0.081\theta _{1}+0.09\theta _{3}+0.1\theta _{4}=0.1\times 0.9^{3}\times \theta _{1}+0.1\times 0.9^{2}\times \theta _{2}+0.1\times 0.9^{1}\times \theta _{3}+0.1\theta _{4}

指数递减的加权的移动平均，越近期的数据加权越大。v_{t}对原始数据做了平滑，降低了原始数据的震荡程度，怎么看是前多少个数据的平均值呢，n通过\beta ^{n}\approx \frac{1}{e}得到。

（2）SGD with Momentum

采用上述指数加权平均的思路，在SGD中增加动量的概念，使得前几轮的梯度也会加入到当前的计算中（会有一定衰减），通过对前面一部分梯度的指数加权平均使得梯度下降过程更加平滑，减少动荡，收敛也比普通的SGD快。当前梯度方向与累计梯度方向一致时，梯度会被加强，从而这一步下降幅度增大，若方向不一致，则会减弱当前下降的梯度幅度。

v_{t}=\beta \ast v_{t-1}+(1-\beta )\Delta J(\theta )

\Delta J(\theta )是当前梯度值，\beta常设为0.9，也就是前10个梯度的平均值。参数\theta的更新公式如下：

\theta =\theta -\alpha v_{t}

wekings
关注
反向传播算法对比分析：SGD、Momentum、Adam优化器效果比较
AI天才研究院
05-20 1118
深度学习模型训练的本质是通过反向传播算法求解损失函数的极小值，而优化器决定了参数更新的策略。算法原理与数学推导代码实现与超参数影响收敛速度与稳定性对比实际应用中的调优策略本文遵循"原理分析→数学建模→实战验证→应用指导"的逻辑，通过理论结合实验的方式，系统对比三种优化器的核心差异。反向传播（Backpropagation）：基于链式法则的梯度计算算法，用于高效求解多层神经网络的参数梯度梯度下降（Gradient Descent）：通过迭代计算梯度方向更新参数，使损失函数最小化的优化方法。
第六章、补充五大内容——3.带动量的梯度下降优化算法：（SGDM：SGD with momentum）
u010117029的博客
06-05 59
SGDM（随机梯度下降动量）通过引入动量累积机制优化神经网络训练。其核心公式为v_t=γv_{t-1}+η∇J(θ)，其中γ为动量因子（YOLOv8默认0.937）。实现方式包括纯Python和PyTorch版本，YOLOv8还启用Nesterov加速优化。SGDM能有效加速收敛、跳出局部最优，典型参数momentum设为0.8-0.99，需配合学习率调整。在YOLOv8训练中，SGDM与学习率预热等策略协同使用，显著提升模型收敛速度和检测精度（mAP）。调试时建议测试不同动量值，并监控训练稳定性。
深度学习基础：最优化算法（优化器，学习率，SGD，Adam， Momentum， NAG等）
qq_36998146的博客
01-24 1459
Adam法同时包含了动量更新与学习率调整，使用梯度的一阶矩估计和二阶矩估计来动态调整学习率，Momentum和Rmspop相结合。优点简单，缺点不稳定，学习率敏感，迭代慢。其优缺点比较明显：优点是二阶的方法利用了导数的二阶信息，因为优化方向更加准确，速度更快；但是二阶需要计算或近似估计Hessian矩阵，一阶方法一次迭代更新复杂度O(N)，N是参数量，二阶方法就是O(N*N)，计算量大。Adam使用的是梯度的一阶矩估计和二阶矩估计（梯度的二阶矩估计，也称为梯度平方的指数加权移动平均）。
梯度下降法及其优化算法(优化器Momentum,Adagrad,Adadelta,Adam)
rosefun96的博客
01-17 1万+
1、动量 动量算法，目的是为了让SGD尽可能地跳出局部最优值。 vt=γvt−1+η∇θJ(θ)θ=θ−vt v_t = \gamma v_{t-1} + \eta \nabla_\theta J( \theta) \\ \theta = \theta - v_t vt​=γvt−1​+η∇θ​J(θ)θ=θ−vt​ 可以看出，和传统的SGD相比，增加了一个动量系数γ； 一般，动量系数γ设为0.9...
神经网络的优化器（二）SGD
白话机器学习
10-13 710
随机梯度下降(SGD)是一种高效的迭代优化方法，最早由Robbins和Monro在1951年提出。它通过每次迭代仅使用单个或小批量样本计算梯度来更新模型参数，显著降低了计算成本。核心更新公式为θ_{t+1}=θ_t-η_t∇J(θ_t;x^{(i)},y^{(i)})。尽管SGD具有计算效率高的优势，但在非凸优化问题中容易陷入局部最小值或鞍点，导致优化停滞。特别是在深度学习领域，鞍点的存在会使梯度下降算法在接近时停滞不前，因为梯度为零而无法判断更新方向。
SGD+Momentum：提速优化的强力组合
m0_70911440的博客
12-03 2081
SGD+Momentum算法通过结合SGD和Momentum的优点，能够更快地收敛、避免局部极小值，并提高深度学习模型的性能。在深度学习领域的各个任务和模型中，SGD+Momentum已被广泛应用，并取得了良好的优化效果。SGD+Momentum（随机梯度下降+动量法）是一种强大的优化算法组合，它结合了SGD的简单性和Momentum的收敛速度，：SGD+Momentum通过引入动量项，使更新方向在梯度变化较大的维度上具有一定的惯性，从而加速收敛并提高性能。SGD+Momentum是一种优化算法的组合。
深度学习优化器的原理总结（SGD/SGD with momentum/Adagrad/AdaDelta/RMSProp/Adam/Nadam）
cyy2learn的博客
04-24 3782
优化器的框架： 目标函数关于当前参数的梯度 ; 根据历史梯度计算一阶动量与二阶动量： ; ; 计算当前时刻的下降梯度： ​​​​​​​; 根据更新参数： ​​​​​​​; 现在我们来一个个分析现有的优化器，如何套入以上的框架。 简单来说，它们的区别就在于和的定义。 SGD 特点：没有使用动量...
深度学习篇---SGD+Momentum优化器
道阻且长，行则将至。
09-03 694
SGD+Momentum（带动量的随机梯度下降）通过模拟物理惯性加速模型收敛，减少训练震荡。其核心原理是在参数更新时保留部分历史梯度方向（动量系数通常设为0.9），使优化过程在平坦区域加速、在噪声区域稳定。代码示例对比显示，在相同学习率下，带Momentum的模型损失下降更快、收敛更平稳，最终拟合效果更优。实际应用建议：初始采用lr=0.001+momentum=0.9组合，配合学习率调度器，适用于深层网络和噪声数据，但需注意过大的动量可能导致错过最优解。
梯度下降算法比较：SGD、Momentum、Adam在AI中的应用
AI云原生与云计算技术学院
06-09 983
想象你在玩一个叫"参数调优"的游戏：你有一个小机器人（模型），它的"大脑"里有很多旋钮（参数），每个旋钮转一点，机器人的表现（比如识别图片的准确率）就会变化。你的目标是找到一组旋钮位置，让机器人表现最好。但问题是：旋钮数量可能有成千上万个（比如深度学习模型的参数），直接暴力试所有组合是不可能的。这时候，梯度下降就像一个"智能指南针"，能帮你快速找到最优的旋钮位置。本文将按照"故事引入→核心概念→数学原理→代码实战→应用场景"的顺序展开。
优化器：SGD、Adam、RMSprop等优化算法对比与机器翻译应用
数据知道的博客
08-09 6730
我们将对比最经典的优化器：SGD、Momentum SGD、RMSprop 和 Adam。
10.4 优化算法演进：SGD、Momentum、Adam与自适应方法
最新发布
技术工作者
12-20 685
本文系统阐述了神经网络优化算法的演进历程。从基础的随机梯度下降（SGD）出发，分析了其存在的梯度噪声、病态曲率和学习率调优困难等问题。随后介绍了动量法和Nesterov加速梯度，通过累积历史梯度来平滑更新方向。自适应学习率算法如AdaGrad和RMSProp则根据参数历史梯度动态调整学习率。最后重点讨论了Adam算法，它结合动量和自适应学习率的优势，成为当前最流行的优化器。文章还比较了各算法的特性，指出不同场景下的适用选择，为深度学习优化提供了全面的技术参考。
深度学习中的优化算法之带Momentum的SGD
网络资源是无限的
05-08 4021
之前在https://blog.youkuaiyun.com/fengbingchun/article/details/123955067介绍过SGD(Mini-Batch Gradient Descent(MBGD)，有时提到SGD的时候，其实指的是MBGD)。这里介绍下带动量(Momentum)的SGD。 SGD(Stochastic Gradient Descent)难以导航沟壑(SGD has trouble navigating ravines)，即SGD在遇到沟壑时容易陷入震荡。 ...
优化器(Optimizer)（SGD、Momentum、AdaGrad、RMSProp、Adam）
热门推荐
tcn760的博客
04-05 6万+
文章目录3.1、传统梯度优化的不足(BGD,SGD,MBGD)3.1.1 一维梯度下降3.1.2 多维梯度下降3.2、动量(Momentum)3.3、AdaGrad算法3.4、RMSProp算法3.5、Adam算法 优化器在机器学习、深度学习中往往起着举足轻重的作用，同一个模型，因选择不同的优化器，性能有可能相差很大，甚至导致一些模型无法训练。所以了解各种优化器的基本原理非常重要。下面介绍各种常用优化器或算法的主要原理，及各自的优点或不足。 3.1、传统梯度优化的不足(BGD,SGD,MBGD) BGD、S
Optimizer(优化器) -- SGD、Momentum、Adam等介绍
weixin_45760718的博客
09-08 2811
在学习RL代码过程中，对优化器的概念与作用一直不是很清晰，因此重新学习记录一下。
A.深度学习基础入门篇[三]：优化策略梯度下降算法：SGD、MBGD、Momentum、Adam、AdamW
丨汀、的博客
04-05 3493
如果我们定义了一个机器学习模型，比如一个三层的神经网络，那么就需要使得这个模型能够尽可能拟合所提供的训练数据。但是我们如何评价模型对于数据的拟合是否足够呢？，当损失函数值下降，我们就认为模型在拟合的路上又前进了一步。最终模型对训练数据集拟合的最好的情况是在损失函数值最小的时候，在指定数据集上时，为损失函数的平均值最小的时候。
深度学习中常用优化器（SGD, Momentum, Nesterov Momentum, AdaGrad, RMS Prop, Adam）的伪代码和对比
qq_39332551的博客
03-12 5160
在深度学习中，优化器是其重要组成部分，本文来介绍一下常用优化器（SGD, Momentum, Nesterov Momentum, AdaGrad, RMS Prop, Adam）的伪代码并对他们进行对比。 1. SGD SGD的伪代码如下： SGD的梯度更新公式简单，采样用的是小样本，训练速度快，但由于是成之字形下降，在一些情况下效率很低。 2. (SGD with) Momentum 伪代码如下： 和SGD相比，带动量的SGD主要是借助物理学中动量的概念，在下降时保留一部分之前的
深度学习中不同的优化器汇总（SGD、动量、Adagrad、RMSProp、Adam）（理论、公式、代码）
m0_48923489的博客
03-20 4022
本文针深度学习中不同的优化器进行了汇总，包括公式实现、代码示例、演变过程和优缺点做了较为详细的分析。
深度学习模型组件之优化器--动量优化方法（带动量的 SGD 与 Nesterov 加速梯度）
一名从Java开发工程师转型的人工智能研究生，致力于图像修复和图像超分领域的探索与研究。通过博客分享个人的学习心得、研究成果以及在人工智能应用中的实际经验，欢迎与同行交流。
03-07 1867
在深度学习模型的训练过程中，选择合适的优化算法对于模型的收敛速度和性能至关重要。动量优化方法在传统优化算法的基础上，通过引入动量项，加速收敛并减小震荡。本文将介绍两种常用的动量优化方法：带动量的随机梯度下降（SGD with Momentum）和 Nesterov 加速梯度（Nesterov Accelerated Gradient, NAG），并将它们与基础优化方法进行对比。
常用优化器(Adam SGD)算法
junqing_wu的博客
03-19 4265
文章目录概览SGD (Stochastic gradient descent)MomentumNAG(Nesterov accelerated gradient)AdaGradRMSPro AdadeltaAdam 概览 梯度下降算法 from .adadelta import Adadelta # noqa: F401 from .adagrad import Adagrad # no...
SGD with Momentum是什么优化器
05-31
### SGD with Momentum 优化器的定义和工作原理 #### 定义 SGD with Momentum 是一种改进的随机梯度下降（Stochastic Gradient Descent, SGD）算法，它通过引入动量项（Momentum）来加速收敛并减少震荡。动量项的作用是累积历史梯度的方向信息，使得优化过程在梯度变化平滑的方向上能够更快地前进，而在震荡方向上则能有效抑制波动[^3]。 #### 工作原理 SGD with Momentum 的核心思想是在参数更新时不仅考虑当前的梯度方向，还结合之前累积的梯度方向。具体来说，优化过程中会维护一个速度变量 \( v \)，该变量由两部分组成：一部分是上一时刻的速度乘以动量系数 \( \beta \)，另一部分是当前梯度乘以学习率 \( \eta \)。参数更新公式如下： \[ v_t = \beta v_{t-1} + \eta \nabla J(\theta) \] \[ \theta_t = \theta_{t-1} - v_t \] 其中： - \( v_t \) 表示第 \( t \) 次迭代的速度。 - \( \beta \) 是动量系数，通常取值为 0.9 或 0.99。 - \( \eta \) 是学习率。 - \( \nabla J(\theta) \) 是损失函数 \( J(\theta) \) 对参数 \( \theta \) 的梯度。 动量项 \( \beta v_{t-1} \) 允许优化器“记住”过去梯度的方向，从而帮助算法更快地穿越平坦区域，并在震荡区域中保持稳定[^2]。 #### 数学推导 假设模型参数为 \( \theta \)，损失函数为 \( J(\theta) \)，则标准 SGD 的更新规则为： \[ \theta_t = \theta_{t-1} - \eta \nabla J(\theta_{t-1}) \] 而 SGD with Momentum 的更新规则引入了速度变量 \( v_t \)，其递归定义为： \[ v_t = \beta v_{t-1} + \eta \nabla J(\theta_{t-1}) \] \[ \theta_t = \theta_{t-1} - v_t \] 这种递归形式使得速度 \( v_t \) 累积了所有过去的梯度信息，权重越大，越接近当前梯度；权重越小，越接近历史梯度[^4]。 #### 实现代码 以下是一个简单的 Python 实现示例： ```python # 初始化参数 theta = 0.0 v = 0.0 learning_rate = 0.01 momentum = 0.9 # 假设计算梯度的函数 def compute_gradient(theta): return 2 * theta # 示例：最小化 f(theta) = theta^2 # 更新规则 for t in range(100): # 迭代 100 次 grad = compute_gradient(theta) v = momentum * v + learning_rate * grad theta = theta - v print(f"Iteration {t+1}: theta = {theta}, gradient = {grad}") ``` #### 优势与局限性 SGD with Momentum 的主要优势在于其能够加速收敛并减少震荡，尤其在高维空间或复杂损失曲面中表现优异[^1]。然而，它也存在一些局限性，例如对超参数（如学习率和动量系数）的选择较为敏感，不当的设置可能导致发散或过慢收敛。 --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值