深度学习最全优化方法总结比较（SGD，SGDM,Adam,Adagrad，Adadelta，Adam）

最新推荐文章于 2025-06-26 03:33:02 发布
最新推荐文章于 2025-06-26 03:33:02 发布
阅读量2.2w 收藏 163
点赞数 24
CC 4.0 BY-SA版权
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/u013385018/article/details/92377371

     拿来药材（数据），架起八卦炉（模型），点着六味真火（优化算法），就摇着蒲扇等着丹药出炉了。

不过，当过厨子的都知道，同样的食材，同样的菜谱，但火候不一样了，这出来的口味可是千差万别。火小了夹生，火大了易糊，火不匀则半生半糊。

      机器学习也是一样，模型优化算法的选择直接关系到最终模型的性能。有时候效果不好，未必是特征的问题或者模型设计的问题，很可能就是优化算法的问题。

     说到优化算法，入门级必从SGD学起，老司机则会告诉你更好的还有AdaGrad/AdaDelta，或者直接无脑用Adam。可是看看学术界的最新paper，却发现一众大神还在用着入门级的SGD，最多加个Moment或者Nesterov ，还经常会黑一下Adam。

病态矩阵是一种特殊矩阵。指条件数很大的非奇异矩阵。病态矩阵的逆和以其为系数矩阵的方程组的界对微小扰动十分敏感，对数值求解会带来很大困难。 

在求解任何反问题的过程中通常会遇到病态矩阵问题，而且病态矩阵问题还未有很好的解决方法，尤其是长方形、大型矩阵。目前主要有Tikhonov、奇异值截断、奇异值修正、迭代法等方法。

求解方程组时对数据的小扰动很敏感的矩阵。

解线性方程组Ax=b时，若对于系数矩阵A及右端项b的小扰动 δA、δb，方程组 (A+δA)χ=b+δb的解 χ 与原方程组Ax=b的解差别很大，则称矩阵A为病态矩阵。方程组的近似解 χ 一般都不可能恰好使剩余 r=b-Aχ 为零，这时 χ

最低0.47元/天 解锁文章

200万优质内容无限畅学
机器学习2 -- 优化器（SGD、SGDM、Adagrad、RMSProp、Adam等）
谢杨易的博客
08-27 3万+
总结下来，SGDM和Adam两大阵营的各种优化后的optimizer如下optimizer优化主要有四种方法让模型探索更多的可能，包括dropout、加入Gradient noise、样本shuffle等让模型站在巨人肩膀上，包括warn-up、curriculum learning、fine-tune等归一化 normalization，包括batch-norm和layer-norm等正则化，惩罚模型的复杂度。
深度学习最全优化方法总结比较（SGD，Adagrad，Adadelta，Adam，Adamax，Nadam）
Enjoy_endless
09-19 1418
之前了解或者说是遇见过一些基本的优化方法，如SGD、Adam等，今天读到一个论文说是运用的Adadelta，且其收敛速度更快，于是搜索一通又是一片天地。算法一次次迭代，没有完美主义者，最根本的还是数据本身的场景特点。 SGD 此处的SGD指mini-batch gradient descent，关于batch gradient descent, stochastic gradient desc...
sgd,adam和adagrad哪个好
weixin_42596011的博客
01-19 773
SGD，Adam和Adagrad都是梯度下降优化算法，它们都可以用来训练神经网络。这三种算法的主要区别在于它们对学习率的调整方式不同。 SGD(随机梯度下降)是最简单的优化算法，它每次仅使用一个样本来更新参数。 Adam是SGD的变种，它除了使用动量项来提高收敛速度外，还使用了类似于RMSProp的变量来调整学习率。 Adagrad是一种自适应学习率优化方法，它通过调整每个参数的学习率来提高收敛...
【AI概念】梯度下降（Gradient Descent）vs 随机梯度下降（SGD）vs 批量梯度下降（Batch GD）详解（附详尽Python代码演示）| 定义与原理、数学公式、案例与代码可视化
最新发布
AI人工智能爱酱～你的AI学习好帮手～
06-26 961
大家好，我是爱酱。本篇将会系统梳理梯度下降（Gradient Descent）、随机梯度下降（Stochastic Gradient Descent, SGD）和批量梯度下降（Batch Gradient Descent, Mini-batch GD）的核心原理、数学表达、优缺点与工程应用。内容详细，并有友善的代码解释、流程解析等，适合初学者和进阶者系统理解。 注：本文章含大量数学算式、详细例子说明及大量代码演示，建议先收藏再慢慢观看理解。新频道发展不易，你们的每个赞、收藏跟转发都是我继续分享的动力！
深度学习笔记（四）：常用优化算法分析比较及使用策略（SGD、SGDM、SGD with Nesterov Acceleration、AdaGrad、AdaDelta、Adam、Nadam）
呆呆象呆呆的博客
11-03 1万+
文章目录一、一个框架回顾优化算法1、SGD算法：评价：2、SGDM (SGD with Momentum)算法：评价：3、SGD with Nesterov Acceleration4、AdaGrad5、AdaDelta / RMSProp6、Adam7、Nadam二、关于Adam的分析1、Adam存在的问题一：可能不收敛2、Adam存在的问题二：可能错过全局最优解3、到底该用Adam还是SGD？...
深度学习，各类优化器优缺点总结。
08-09
深度学习，各类优化器优缺点总结,包括：标准梯度下降法，随机梯度下降法，批量梯度下降法等11种方法。。。
一个框架看懂优化算法之异同 SGD/AdaGrad/Adam
u010451638的博客
10-16 384
转自 https://zhuanlan.zhihu.com/p/32230623 Adam那么棒，为什么还对SGD念念不忘 (1) —— 一个框架看懂优化算法 机器学习界有一群炼丹师，他们每天的日常是： 拿来药材（数据），架起八卦炉（模型），点着六味真火（优化算法），就摇着蒲扇等着丹药出炉了。 不过，当过厨子的都知道，同样的食材，同样的菜谱，但火候不一样了，这出来的口味可是千差万别。火小了夹生，火大了易糊，火不匀则半生半糊。 机器学习也是一样，模型优化算法的选择直接关系到最终模型的性能。有时候效果不好，未必
Matlab代码，里面包括五种常见神经网络优化算法的对比 包括SGD、SGDM、Adagrad、AdaDelta、Adam
03-02
SGD、SGDM、Adagrad、AdaDelta 和 Adam 的简介： SGD（Stochastic Gradient Descent，随机梯度下降）是神经网络中最基本的优化算法之一。它通过随机选择一小部分样本进行训练，并基于这些样本的梯度来更新模型参数...
五种常见Matlab神经网络优化算法的对比（包括SGD、SGDM、Adagrad、AdaDelta、Adam）.zip
04-15
数学建模备赛、学习资料 数学建模大赛赛题、解决方案资料，供备赛者学习参考！数学建模大赛赛题、解决方案资料，供备赛者学习参考！数学建模大赛赛题、解决方案资料，供备赛者学习参考！数学建模大赛赛题、解决...
tensorflow2 5种优化器 SGD,SGDM,ADAGRAD,RMSPROP,ADAM 在鸢尾花数据集中的对比.docx
05-01
TensorFlow 2 是一个广泛使用的深度学习框架，其中包含了多种优化器，如 SGD (Stochastic Gradient Descent)，SGDM (Stochastic Gradient Descent with Momentum)，ADAGRAD，RMSPROP 和 ADAM。这些优化器在不同的...
复习1: 深度学习优化算法 SGD -> SGDM -> NAG ->AdaGrad -> AdaDelta -> Adam -> Nadam 详细解释 + 如何选择优化算法
qq_33666011的博客
02-25 6425
深度学习优化算法经历了 SGD -> SGDM -> NAG ->AdaGrad -> AdaDelta -> Adam -> Nadam 这样的发展历程。优化器其实就是采用何种方式对损失函数进行迭代优化，也就是有一个卷积参数我们初始化了，之后loss还很大，我们让这个参数根据loss的梯度如何变，每次变多少可以让loss函数在凸曲面上不断变小而找到最优解...
优化算法选择：SGD、SGDM、NAG、Adam、AdaGrad、RMSProp、Nadam
wwt72的博客
04-30 6376
目录 优化算法通用框架 SGD 系列：固定学习率的优化算法 SGD SGD (with Momentum) = SGD-M SGD（with Nesterov Acceleration）= NAG 自适应学习率的优化算法 AdaGrad AdaDelta / RMSProp Adam / Nadam Adam Nadam Adam 两宗罪 1. 可能不收敛 2.可能...
优化函数SGD/AdaGrad/AdaDelta/Adam/Nadam
yuanyuanxingxing的专栏
05-21 1824
一、准备知识 指数加权平均 指数加权平均值又称指数加权移动平均值，局部平均值，移动平均值。加权平均这个概念都很熟悉，即根据各个元素所占权重计算平均值。指数加权平均中的指数表示各个元素所占权重呈指数分布。 mini-batch梯度下降法 在实际应用中，由于样本数量庞大，训练数据上百万是很常见的事。如果每执行一次梯度下降就遍历整个训练样本将会耗费大量的计算机资源。在所有样本中随机抽取一部分(mini-batch)样本，抽取的样本的分布规律与原样本基本相同，事实发现，实际训练中使用mini-bat
主流的深度学习优化方法（SGD，SGDM，Adagrad，RMSProp，Adam）
双鸭山•克里菲斯•北方孤星之堕
07-22 4795
0 前言 介绍主流的深度学习优化方法（SGD，SGD with Momentum，Adagrad，RMSProp，Adam），梯度优化的基本原则是起始的时候降得快，后来降的慢，以此原则来理解下面这些算法。理解不是非常深，有问题希望大家指出。 1 SGD 一般的梯度下降所用的损失函数会计算所有样本的损失，但是随机梯度下降比梯度下降多了随机两个字，也即用样本中的一个例子的损失值来代替整体的损失。 因而随机梯度下降是会带来一定的问题，因为计算得到的并不是准确的一个梯度。如下图，SGD是按照单个样本更新，所以前面几
SGD ,Adam,momentum等优化算法比较
weixin_38582851的博客
06-03 9345
深度学习优化算法经历了 SGD -> SGDM -> NAG ->AdaGrad -> AdaDelta -> Adam -> Nadam这样的发展历程。优化算法通用框架：首先定义：待优化参数：w ，目标函数： f(w)，初始学习率 α。而后，开始进行迭代优化。在每个epoch t：1）计算目标函数关于当前参数的梯度；2）根据历史梯度计算一阶动量和二阶动量；3）...
矩阵奇异性和“病态”问题的解释与改善方法（简单易懂）
DC
03-20 1万+
文章目录矩阵奇异性、‘病态’问题描述：常用改善条件数的方法：关于条件数和正则化的概念补充： 矩阵奇异性、‘病态’问题描述：   在实际工程应用中，求解线性方程组 AX=BAX=BAX=B 问题时，其系数矩阵 AAA 或初值矩阵 BBB 一般由实验数据构成，如果矩阵A或B中的元素存在观测误差、仪器的测量误差或计算机本身的误差等，则会导致求得解 XSX_SXS​ 偏离真实解 XrX_rXr​ 。   矩阵条件数反映了矩阵计算中解 XXX 对初值 BBB 的敏感度，矩阵条件数越大，解对初始值的变化越敏感，条件数
神经网络优化：病态矩阵与条件数
热门推荐
Rookiekk
10-09 1万+
一、病态矩阵 求解方程组时如果对数据进行较小的扰动，则得出的结果具有很大波动，这样的矩阵称为病态矩阵。 病态矩阵是一种特殊矩阵。指条件数很大的非奇异矩阵。病态矩阵的逆和以其为系数矩阵的方程组的界对微小扰动十分敏感，对数值求解会带来很大困难。 例如： 现在有线性方程组： Ax = b， 解方程                                                 ...
深度学习3——新的优化算法
weixin_63194616的博客
09-27 765
优化（optimization）
人工智能-损失函数-优化算法：梯度下降【SGD--＞SGDM(梯度动量)--＞AdaGrad(动态学习率)--＞RMSProp(动态学习率)--＞Adam(动态学习率+梯度动量)】、梯度下降优化技巧
u013250861的博客
12-16 1598
批量梯度下降法（Batch Gradient Descent，简称BGD）是梯度下降法最原始的形式，它的具体思路是在更新每一参数时都使用所有的样本来进行更新，它的目的是得到一个全局最优解，但是每迭代一步，都要用到训练集所有的数据，如果样本数目m很大，这种方法的迭代速度很慢！随机梯度下降算法算法是从样本中随机抽出一组，训练后按梯度更新一次，然后再抽取一组，再更新一次，在样本量及其大的情况下，可能不用训练完所有的样本就可以获得一个损失值在可接受范围之内的模型了。其思想是：每次迭代 使用。
介绍一下SGD、SGDM和Adam优化器
04-28
<think>好的，用户想了解SGD、SGDM和Adam优化器的介绍及区别，我需要根据提供的引用和之前的回答来组织内容。首先，用户提到了之前的回答中有关优化器的部分，应该保持结构的一致性，比如核心作用、类型、代码实现、选择策略等。 用户给的引用中有四个来源，我需要从中提取相关信息。引用1提到优化器在深度学习中的关键作用，特别是SGD、Adam和RMSprop。引用2讨论了SGD与Adam的选择问题，引用3解释了Adam结合了Adagrad和动量法的优点，引用4详细比较了各种优化器，包括SGD、SGDM、Adam等，并提到了它们的不同之处，比如Adam的分母项累积梯度平方。 首先，我需要分别介绍每个优化器。对于SGD，应该说明其基本形式，可能的问题（比如震荡），以及引用中的相关内容。SGDM是SGD with Momentum，需要解释动量的概念，如何减少震荡，引用4提到动量帮助加速收敛。Adam部分需要结合引用3和4，说明其自适应学习率和动量的结合，适用场景如稀疏梯度。 在比较区别时，需要从收敛速度、稳定性、超参数等方面展开。引用4提到Adam的分母项调整步长，适用于不同梯度稀疏性的情况。适用场景部分，引用2提到SGD可能在简单任务表现好，Adam适合复杂任务，而SGDM可能在两者之间。 还要注意用户可能的应用场景，比如深度学习模型训练，需要根据任务类型推荐优化器。另外，用户可能需要知道如何选择，比如调整学习率、动量参数等，这些在引用中也有涉及。 需要确保使用正确的中文术语，公式用$$...$$，行内用$...$。代码示例部分，之前的回答用了PyTorch实现，这里也可以沿用。同时生成的相关问题需要覆盖原理、选择方法、应用场景等，参考之前的示例。 最后，检查是否引用了正确的来源，比如引用3和4在解释Adam时，引用4在比较优化器时的分母项，引用2在选择策略上。确保每个引用标记正确，并且回答结构清晰，分点明确。</think>#### 一、SGD优化器介绍 **随机梯度下降（Stochastic Gradient Descent, SGD）** 是最基础的优化算法，其核心思想是**通过当前参数的负梯度方向更新参数**，数学形式为： $$ θ_{t+1} = θ_t - η \cdot \nabla J(θ_t) $$ 其中，$η$ 是学习率，$\nabla J(θ_t)$ 是损失函数的梯度。 - **特点**： 1. **简单高效**：适合小批量数据或凸优化问题。 2. **震荡问题**：在非凸函数中可能陷入局部极小值或震荡[^4]。 - **代码实现**（PyTorch）： ```python optimizer = torch.optim.SGD(model.parameters(), lr=0.01) ``` --- #### 二、SGDM优化器介绍 **带动量的随机梯度下降（SGD with Momentum, SGDM）** 在SGD基础上引入**动量项**，模拟物理中的惯性，加速收敛并减少震荡。其更新公式为： $$ v_{t} = γ \cdot v_{t-1} + η \cdot \nabla J(θ_t) $$ $$ θ_{t+1} = θ_t - v_{t} $$ 其中，$γ$ 是动量系数（通常设为0.9）。 - **特点**： 1. **加速收敛**：在梯度方向一致的维度上累积速度。 2. **缓解震荡**：通过动量项平滑梯度更新路径[^4]。 - **代码实现**： ```python optimizer = torch.optim.SGD(model.parameters(), lr=0.01, momentum=0.9) ``` --- #### 三、Adam优化器介绍 **自适应矩估计（Adaptive Moment Estimation, Adam）** 结合了**动量法**和**自适应学习率**，是深度学习中应用最广的优化器之一。其核心公式为： $$ m_t = β_1 \cdot m_{t-1} + (1-β_1) \cdot \nabla J(θ_t) \quad \text{（一阶矩估计）} $$ $$ v_t = β_2 \cdot v_{t-1} + (1-β_2) \cdot (\nabla J(θ_t))^2 \quad \text{（二阶矩估计）} $$ $$ θ_{t+1} = θ_t - η \cdot \frac{m_t}{\sqrt{v_t} + \epsilon} $$ 其中，$β_1$ 和 $β_2$ 通常取0.9和0.999，$\epsilon$ 为平滑项。 - **特点**： 1. **自适应学习率**：梯度稀疏时学习率较大，密集时较小。 2. **抗震荡**：动量项缓解梯度方向突变问题[^3][^4]。 - **代码实现**： ```python optimizer = torch.optim.Adam(model.parameters(), lr=0.001) ``` --- #### 四、三种优化器的对比与适用场景 | **特性** | **SGD** | **SGDM** | **Adam** | |----------------|----------------------|----------------------|----------------------| | **收敛速度** | 较慢 | 较快 | 最快 | | **稳定性** | 易震荡 | 较稳定 | 最稳定 | | **超参数** | 学习率 | 学习率、动量系数 | 学习率、β1、β2 | | **适用场景** | 小数据集、凸优化问题 | 中等规模非凸优化 | 大规模深度学习任务 | - **选择建议**： - **SGD**：简单任务或需要精确调参的场景（如线性回归）。 - **SGDM**：需要平衡收敛速度和稳定性的场景（如CNN图像分类）。 - **Adam**：复杂非凸优化（如Transformer、GAN），尤其适合稀疏梯度问题[^3][^4]。 --- #### 五、性能对比实验结论（参考文献） 1. Adam在自然语言处理任务中表现优异（如BERT训练）[^3]。 2. SGDM在计算机视觉任务中常能达到更高精度（如ResNet）[^4]。 3. SGD在训练后期通过精细调参可能超越自适应优化器[^2]。 ---
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值