SGD和Adam优化算法区别

最新推荐文章于 2025-04-03 14:13:05 发布
最新推荐文章于 2025-04-03 14:13:05 发布
阅读量5.6k 收藏 10
点赞数
分类专栏： python学习笔记 文章标签： pytorch 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_45654059/article/details/120872077
版权
在深度学习的二分类任务中，使用预训练的ResNet模型进行微调时，发现在优化器的选择上，SGD表现优于Adam。原因可能是由于数据分布简单，SGD对于这种计算更为适宜，而Adam则更擅长处理复杂分布的数据。这一发现对于理解优化器在不同场景下的适用性具有重要意义。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

深度学习二分类问题，选择使用已经训练好的resnet。

在这里插入图片描述
在用Adam微调模型时，发现性能很差。
在这里插入图片描述
在用SGD（随机梯度下降）时，效果很好。

原因在于是二分类问题，数据的分布好计算，更适合SGD，而对于Adam更适合计算复杂分布的数据

Adam原理详解 Adam和SGD之间的主要区别是什么？
优快云 精品推荐
08-08 2305
总体来说，Adam算法结合了动量方法和自适应学习率的优点，使得参数更新更平稳，更适应不同参数的梯度情况。然而，对于不同问题，调整超参数仍然是重要的，因为不同的数据和模型结构可能需要不同的设置。具体而言，它会计算修正后的梯度，将梯度除以sqrt(m)和v的平方根，以调整学习率的大小。然后，通过将修正后的梯度与参数结合，进行参数更新。它维护了每个参数的自适应学习率变量，用来根据参数的梯度和历史梯度信息来调整学习率的大小。在Adam中，除了维护动量项v，还维护了参数的一阶矩估计（均值）m，用来估计参数的梯度。
Adam和SGD优化算法比较
dc爱傲雪和技术
04-02 6819
Adam和SGD（随机梯度下降）是两种广泛使用的优化算法，它们在深度学习模型训练中有不同的特性和表现。
SGD优化器和Adam区别
胭脂草的ABC博客
03-25 3151
综上所述，选择哪种优化器取决于具体任务的需求，包括计算资源、收敛速度、鲁棒性以及对超参数调整的容忍度。
Adam vs SGD vs RMSProp：PyTorch优化器选择
最新发布
weixin_67251822的博客
04-03 820
模块提供了多种优化算法，适用于不同的深度学习任务。
sgd优化器和Adam优化器之间的区别
Kp0fS的草稿纸
07-26 1万+
Adam = Adaptive + Momentum，顾名思义Adam集成了SGD的一阶动量和RMSProp的二阶动量。 参考： https://blog.youkuaiyun.com/q295684174/article/details/79130666
#深入探究# Adam和SGDM优化器的对比
lch551218的博客
06-07 1万+
1. Adma 和 MSGD Adam和MSGD作为当今最优秀的两种深度学习优化器，分别在效率和精度上有着各自的优势，下面我们将分析两种优化器各自优势的原因，两边的两张图分别是 几种常见的优化器在猫狗分类数据集上的分类准确率曲线，第一个是训练集，第二个是测试集 以下两张图是某个NLP任务中，几种模型的准确率和困惑度指标变换曲线 通过上边两幅图片可知： Adma在训练集上的准确率较高，MSGD在测试集上的准确率较高 Adma的速度更快，但MSGD能够得到好的效果 第一个结论可以用下边这个图来解释：
SGD学习器和Adam学习器之间的区别与关系
m0_75015083的博客
11-06 1424
（随机梯度下降）和（Adaptive Moment Estimation）是两种常用的优化算法，在训练神经网络时，它们都用来最小化损失函数并更新模型参数。尽管它们有相似的目标，但在更新规则和效率上有所不同。
优化器SGD、Adam和AdamW的区别和联系
weixin_44902604的博客
02-18 8531
优化器是用来更新和计算影响模型训练和模型输出的网络参数，使其逼近或达到最优值，从而最小化(或最大化)损失函数。
【AI-18】Adam和SGD优化算法比较
qq_45611002的博客
09-13 979
Adam（Adaptive Moment Estimation）和 SGD（Stochastic Gradient Descent，随机梯度下降）是两种常见的优化算法，它们在不同方面有各自的特点。
【AI知识点】机器学习中的常用优化算法（梯度下降、SGD、Adam等）
AI完全体
10-09 1696
在机器学习中优化算法（Optimization Algorithm） 的任务是找到模型参数（如权重、偏置等），使得损失函数（例如均方误差、交叉熵等）最小化。损失函数度量的是模型预测值与真实标签之间的误差。优化算法通过不断调整模型的参数，使损失函数达到全局或局部最小值。
pytorch深度学习基础 7（简单的的线性训练，SGD与Adam优化器）
2301_76846375的博客
08-23 1395
接下来小编来讲一下一些优化器在线性问题中的简单使用使用，torch模块中有一个叫optim的子模块，我们可以在其中找到实现不同优化算法的类。
深度学习基础：最优化算法（优化器，学习率，SGD，Adam， Momentum， NAG等）
qq_36998146的博客
01-24 1253
Adam法同时包含了动量更新与学习率调整，使用梯度的一阶矩估计和二阶矩估计来动态调整学习率，Momentum和Rmspop相结合。优点简单，缺点不稳定，学习率敏感，迭代慢。其优缺点比较明显：优点是二阶的方法利用了导数的二阶信息，因为优化方向更加准确，速度更快；但是二阶需要计算或近似估计Hessian矩阵，一阶方法一次迭代更新复杂度O(N)，N是参数量，二阶方法就是O(N*N)，计算量大。Adam使用的是梯度的一阶矩估计和二阶矩估计（梯度的二阶矩估计，也称为梯度平方的指数加权移动平均）。
SGD和Adam
bl128ve900的博客
07-10 9296
按吴恩达老师所说的，梯度下降（Gradient Descent）就好比一个人想从高山上奔跑到山谷最低点，用最快的方式（steepest）奔向最低的位置（minimum）。 SGD基本公式 动量(Momentum) 参考链接：https://distill.pub/2017/momentum/ 基本的mini-batch SGD优化算法在深度学习取得很多不错的成...
机器学习 SGD Momentum RMSprop Adam 优化器对比(pytorch)
Johnny Liao的博客
05-27 578
下面直接给出代码, 中间带有我个人的注释: # -*- coding: utf-8 -*- # 4种优化器的对比 import torch import torch.utils.data as Data import torch.nn.functional as F from torch.autograd import Variable import matplotlib.pyplot as plt ##优化器的对比 LR = 0.01 BATCH_SIZE = 32 EPOCH = 12 x
Adam那么棒，为什么还对SGD念念不忘
热门推荐
jiachen0212的博客
04-25 2万+
本文转载自「机器学习炼丹记」，搜索「julius-ai」即可关注。 原文链接：小象（一）一个框架看懂优化算法机器学习界有一群炼丹师，他们每天的日常是：拿来药材（数据），架起八卦炉（模型），点着六味真火（优化算法），就摇着蒲扇等着丹药出炉了。不过，当过厨子的都知道，同样的食材，同样的菜谱，但火候不一样了，这出来的口味可是千差万别。火小了夹生，火大了易糊，火不匀则半生半糊。机器学习也是一样，模型优化算...
深度学习笔记6：神经网络优化算法之从SGD到Adam
weixin_37737254的博客
07-05 388
从前面的学习中，笔者带大家一起学会了如何手动搭建神经网络，以及神经网络的正则化等实用层面的内容。这些都使得我们能够更深入的理解神经网络的机制，而并不是初次接触...
优化器介绍—SGD、Adam、Adagrad
百年孤独百年的博客
04-20 1万+
在深度学习中，优化器是一个非常重要的组成部分，它通过调整模型参数的方式来最小化损失函数。本教程将介绍三种常用的优化器以及如何选择最合适的优化器。
Adam那么棒，为什么还对SGD念念不忘 (1) —— 一个框架看懂优化算法
gukedream的专栏
01-13 996
机器学习界有一群炼丹师，他们每天的日常是：   拿来药材（数据），架起八卦炉（模型），点着六味真火（优化算法），就摇着蒲扇等着丹药出炉了。   不过，当过厨子的都知道，同样的食材，同样的菜谱，但火候不一样了，这出来的口味可是千差万别。火小了夹生，火大了易糊，火不匀则半生半糊。   机器学习也是一样，模型优化算法的选择直接关系到最终模型的性能。有时候效果不好，未必是特征的问题或者模型设计...
【深度学习】Adam与SGD优化器的选择
rocking_struggling的博客
02-13 3044
发现若监督优化器的算法很多都采用SGD，选择Adam反而效果不好，所以这里学习了两者的区别。
SGD优化算法和Adam优化算法的区别
05-29
SGD（随机梯度下降）是一种常用的优化算法，它每次更新权重时只使用一个样本的梯度信息，并且按照一定的学习率...总体来说，Adam算法具有更快的收敛速度和更好的泛化性能，但是在某些情况下可能会受到噪声数据的影响。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值