从SGD到Adam学习优化算法

最新推荐文章于 2025-09-11 18:02:41 发布
原创 最新推荐文章于 2025-09-11 18:02:41 发布 · 286 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习

SGD算法 随机梯度下降算法

优化算法的根本在于 w +=△w，每一种优化算法的区别在于△w的计算。
SGD算法的公式为：在这里插入图片描述
其中η为学习率，J’（w） 是损失关于参数的梯度.
在这里插入图片描述
momentum算法（动量）
该算法的迭代方法：△xt= -ηgt + ρ△xt-1
在这里插入图片描述
在这里插入图片描述
相对于原来的SGD，该算法加入了动量这个因素。
AdaGrad算法
在这里插入图片描述
RMSProp算法
更新公式：在这里插入图片描述
gt是梯度β2是衰减参数

RMSProp学习优化算法和AdaGrad算法的区别在于衰减参数
Adam学习优化算法 是将RMSProp算法和momentum算法结合
在这里插入图片描述
在这里插入图片描述

Loong_DQX
关注
常见的梯度优化算法（SGD、动量、Adagrad、RMSProp、Adam）的总结
YLTENG的博客
07-28 3668
常见的梯度优化算法（SGD、动量、Adagrad、RMSProp、Adam）的总结SGD动量AdagradRMSPropAdam SGD 随机梯度下降算法（Stochastic gradient descent，SGD）在神经网络模型训练中，是一种很常见的优化算法。这种算法是基于梯度下降算法产生的，所以要理解随机梯度下降算法，必须要对梯度下降算法有一个全面的理解。 先来看一下公式 θt+1=θt−ηgt \theta_{t+1} = \theta_{t} - \eta g_t θt+1​=θt​−ηgt​
【总结】6种机器学习中的优化算法：SGD,牛顿法,SGD-M,AdaGrad,AdaDelta,Adam
鱼大
03-06 5723
本文一共介绍6种机器学习中的优化算法： 1.梯度下降算法（SGD） 2.牛顿法 3.SGD-M 4.AdaGrad 5.AdaDelta 6.Adam 1.梯度下降算法（SGD） 用梯度下降算法最小化目标函数f(x)，梯度下降算法沿着梯度向量的反方向进行迭代以得到函数的极值点。参数迭代公式： 其中，γ为学习率，参数初始值为x0,即起始位置。 设置迭代停止条件： 1....
SGD 与 Adam 优化算法总结
最新发布
SWORD_Kilito的博客
09-11 1052
常见的优化方法有 SGD（随机梯度下降） 和 Adam（Adaptive Moment Estimation）。但在一些严格需要泛化的场景（如图像分类），Adam 可能不如 SGD 稳定。Adam 同时考虑梯度的 一阶统计量（均值） 和 二阶统计量（方差）。更新时：方向由 $ m_t $ 决定，步长由 $ v_t $ 缩放。Adam： 收敛快，适合 NLP、稀疏特征、非平稳目标。$ v_t $：追踪梯度平方的均值（类似能量/方差）。$ m_t $：相当于带“惯性”的梯度（类似速度）。
联邦学习(Federated Learning)学习笔记
ixobgenw的博客
11-09 3802
文章目录前言一、联邦学习FedAVG和分布式SGD二、联邦学习中的SGD三、梯度压缩和误差补偿四、两种文中给出的新算法总结 前言 内容仅为笔者主观想法，记录下来以供之后回顾，如有错误请谅解。 一、联邦学习FedAVG和分布式SGD 文献：Federated Learning of Deep Networks using Model Averaging   在笔者理解中，联邦学习的目的就是利用多个个体所拥有的数据，实现模型的有效训练。其要克服的第一个问题就是个体信息的安全性和隐私性。如何在保障个体数据.
神经网络优化算法之从SGD到Adam
zhongranxu的专栏
04-16 541
采用何种方式对损失函数进行迭代优化，这是机器学习的一大主题之一，当一个机器学习问题有了具体的模型和评估策略，所有的机器学习问题都可以形式化为一个最优化问题。这也是为什么我们说优化理论和凸优化算法等学科是机器学习一大支柱的原因所在。从纯数学的角度来看，所有的数学模型尽管形式不一，各有头面，但到最后几乎到可以归约为最优化问题。所以，有志于奋战在机器学习和深度学习领域的各位，学好最优化...
从 SGD 到 Adam —— 深度学习优化算法概览 各种优化器 重点
kyle1314608的博客
07-25 427
https://zhuanlan.zhihu.com/p/32626442 骆梁宸 paper插画师；poster设计师；oral slides制作人 445 人赞同了该文章 楔子 前些日在写计算数学课的期末读书报告，我选择的主题是「分析深度学习中的各个优化算法」。在此前的工作中，自己通常就是无脑「Ad...
从SGD到Adam：优化算法的数学原理与应用
学而时习之，不亦说乎！
09-05 1066
本文对比分析了SGD和Adam两种神经网络优化算法的原理与性能。SGD通过随机样本梯度更新参数，计算高效但易陷入局部最优，其收敛性依赖学习率调整策略。Adam算法结合动量项和自适应学习率机制，通过梯度矩估计动态调整参数更新，显著提升了收敛速度和稳定性。实验表明，Adam在复杂网络和大规模数据上表现更优，但计算复杂度较高。合理调节学习率、批量大小等超参数对算法性能至关重要，需根据具体任务需求选择优化方法。两种算法各有优势，为深度学习模型训练提供了重要技术支持。
收藏 _ 深度学习优化算法：从SGD到AdamW原理和代码解读1
08-04
【深度学习优化算法：从SGD到AdamW原理和代码解读】 深度学习中的优化算法是训练神经网络模型的关键部分，它们决定了模型参数如何逐步调整以最小化损失函数。本文将探讨一系列从简单到复杂的优化算法，包括SGD...
5. 深度学习中的优化技术：从SGD到Adam
Network_Engineer的博客
09-07 1483
深度学习中的优化技术直接影响模型的训练效率和最终性能。从简单的SGD到复杂的Adam，每种优化器都有其独特的优势和适用场景。通过合理选择和调整优化器及学习率，深度学习模型可以更快、更稳定地收敛，达到最佳性能。在实际应用中，根据具体任务和数据集选择合适的优化器，是深度学习模型成功的关键。
【AI知识点】机器学习中的常用优化算法（梯度下降、SGD、Adam等）
AI完全体
10-09 1961
在机器学习中优化算法（Optimization Algorithm） 的任务是找到模型参数（如权重、偏置等），使得损失函数（例如均方误差、交叉熵等）最小化。损失函数度量的是模型预测值与真实标签之间的误差。优化算法通过不断调整模型的参数，使损失函数达到全局或局部最小值。
Adam那么棒，为什么还对SGD念念不忘
jiachen0212的博客
04-25 2万+
本文转载自「机器学习炼丹记」，搜索「julius-ai」即可关注。 原文链接：小象（一）一个框架看懂优化算法机器学习界有一群炼丹师，他们每天的日常是：拿来药材（数据），架起八卦炉（模型），点着六味真火（优化算法），就摇着蒲扇等着丹药出炉了。不过，当过厨子的都知道，同样的食材，同样的菜谱，但火候不一样了，这出来的口味可是千差万别。火小了夹生，火大了易糊，火不匀则半生半糊。机器学习也是一样，模型优化算...
各种优化方法总结比较(sgd/momentum/Nesterov/adagrad/adadelta)
weixin_30419799的博客
12-18 1906
前言 这里讨论的优化问题指的是，给定目标函数f(x)，我们需要找到一组参数x，使得f(x)的值最小。 本文以下内容假设读者已经了解机器学习基本知识，和梯度下降的原理。 Batch gradient descent 梯度更新规则: BGD 采用整个训练集的数据来计算 cost function 对参数的梯度： 缺点: 由于这种方法是...
各种神经网络优化算法：从梯度下降到Adam方法
热门推荐
一点码客
08-15 4万+
在调整模型更新权重和偏差参数的方式时，你是否考虑过哪种优化算法能使模型产生更好且更快的效果？应该用梯度下降，随机梯度下降，还是Adam方法？ 这篇文章介绍了不同优化算法之间的主要区别，以及如何选择最佳的优化方法。 什么是优化算法？ 优化算法的功能，是通过改善训练方式，来最小化(或最大化)损失函数E(x)。 模型内部有些参数，是用来计算测试集中目标值Y的真实值和预测值的偏差程度的，基于这些参...
SGD和Adam
bl128ve900的博客
07-10 9377
按吴恩达老师所说的，梯度下降（Gradient Descent）就好比一个人想从高山上奔跑到山谷最低点，用最快的方式（steepest）奔向最低的位置（minimum）。 SGD基本公式 动量(Momentum) 参考链接：https://distill.pub/2017/momentum/ 基本的mini-batch SGD优化算法在深度学习取得很多不错的成...
PyTorch学习之十种优化函数
mingo_敏
01-01 1万+
1 使用 2 基类 Optimizer torch.optim.Optimizer(params, defaults) params (iterable) —— Variable 或者 dict的iterable。指定了什么参数应当被优化。 defaults —— (dict)：包含了优化选项默认值的字典（一个参数组没有指定的参数选项将会使用默认值）。 load_state_dict(stat...
SGD和Adam（转载）
cuipanguo的博客
01-14 3674
https://blog.youkuaiyun.com/weixin_42398658/article/details/84525917
优化算法实战：SGD 与 Adam，该选哪个更适合你？
zyh252609的博客
05-19 1595
在训练深度学习模型时，我们的目标是让模型预测更准确。为了达到这个目的，我们需要“调整”模型里的参数，使得预测误差（损失）尽可能小。这个“调整参数”的过程，本质上就是一个优化问题，而优化算法就是解决这个问题的“搬砖工具”。SGD（随机梯度下降）这两种方式看起来只是几行代码的切换，但对训练速度、收敛稳定性、甚至模型表现都会有非常大的影响。不要一上来就“Adam 全场”，也别盲信“SGD 是信仰”。优化算法的选择，和你任务类型、数据集大小、实验预算都息息相关。Adam 是调试利器，SGD 是生产武器。
梯度优化（SGD、Adam、动量、mini-batch）
m0_70087562的博客
07-09 1810
注意：这个示例使用了全批量梯度下降（Full Batch Gradient Descent）的更新方式（即每次迭代都遍历整个数据集），但计算梯度时只使用了单个样本，这实际上模拟了SGD的随机性。为了真正的SGD，你需要在每次迭代中只使用一个样本或一小批样本，而不是整个数据集。在SGD中，不是每次更新都使用全部数据，而是每次更新只随机选取一个样本或一小批（batch）样本来计算梯度，这样可以大大加快训练速度。2.计算过去梯度的平方的指数加权平均值，并将其存储在变量（偏差校正之前）和（偏差校正中）中。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值