深度学习之感性理解-优化器

最新推荐文章于 2025-07-27 12:00:04 发布
最新推荐文章于 2025-07-27 12:00:04 发布
阅读量286 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 深度学习 文章标签： 深度学习 优化器 人工智能 机器学习 梯度下降
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wangwei19871103/article/details/90733662
本文深入解析深度学习中各类优化器的工作原理，包括批量梯度下降法(BGD)、随机梯度下降法(SGD)、小批量梯度下降法(MBGD)、Momentum、AdaGrad、Adam和RMSprop，探讨它们在训练过程中的优势与局限。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

深度学习之感性理解-优化器

梯度下降法

在这里插入图片描述

批量梯度下降法（BGD）

所谓批量，就是一次性把所有样本都进行训练，因为所有的样本一起迭代算一次，所以下降方向相对比较准确，不会有太大的偏移，同时由于样本数太多，可能迭代一次会比较慢。

随机梯度下降法（SGD）

每次只迭代一个样本，速度快，随机偏移比较大，但是总体方向是对的，容易到达局部最优，因为是单个样本训练，并非全部一起训练。

小批量梯度下降法（MBGD）

刚好在BGD 和SGD中间，取一部分训练，既保证了速度，有保证了准确性，是这一种折中的方式

Momentum

可以看做是有惯性的梯度下降法，因为有惯性，所以有时候可以跳出局部最小点。

AdaGrad

是一种能调节学习率的梯度下降算法。

Adam

Momentum和AdaGrad的结合体。

RMSprop

可以缓解AdaGrad的学习率下降太快的问题。

具体还是看图直观
在这里插入图片描述
在这里插入图片描述

好了，今天就到这里了，希望对学习理解有帮助，大神看见勿喷，仅为自己的学习理解，能力有限，请多包涵，图片均来自网络，侵删。

深度学习之优化器（优化算法）
qq_38375203的博客
06-06 1586
前面已经讲过几中梯度下降算法了，并且给了一个收尾引出这一章节，想看的小伙伴可以去看看这一篇文章：机器学习之梯度下降算法。前面讲过对SGD来说，最要命的是SGD可能会遇到“峡谷”和“鞍点”两种困境峡谷类似⼀个带有坡度的狭长小道，左右两侧是 “峭壁”；在峡谷中，准确的梯度方向应该沿着坡的方向向下，但粗糙的梯度估计使其稍有偏离就撞向两侧的峭壁，然后在两个峭壁间来回震荡。鞍点的形状类似⼀个马鞍，⼀个方向两头翘，⼀个方向两头垂，而中间区域近似平地；⼀旦优化的过程中不慎落入鞍点，优化很可能就会停滞下来(坡度不明显，很可
【机器学习】【深度学习】优化器（Optimizer）
SmallBamboo的博客
06-08 6730
优化器(Optimizer)是深度学习中的一个核心的概念，用于更新神经网络的权重，以减少或最小化损失函数(loss function)的值。损失函数衡量了模型的预测值与真实值之间的差异，而优化器的目标是通过调整网络参数来最小化这个差异，从而提高模型的准确性和性能。在神经网络训练过程中，优化器在反向传播过程中起着至关重要的作用。反向传播计算了损失函数相当于模型参数的梯度(即损失函数的导数)，优化器则使用这些梯度来更新模型的参数。
深度学习之优化器（简要总结）
kuailezzf的博客
07-29 777
优化器是用于训练神经网络模型的关键组件，它们决定了模型参数如何根据损失函数的梯度进行更新。不同的优化器具有不同的特性和适用场景。下面将介绍几种常见的深度学习优化器，以及基于pytorch版本的定义和使用方法。
深度学习优化器
misite_J
04-16 736
优化器 优化器种类 SGD: 随机梯度下降，每次迭代只训练一个样本，不能利用 CPU 或 GPU 并行计算 speed up，且每个样本都进行gradient descent，这无疑增加了样本中的概率，所以学习速度较慢。 torch.optim.SGD(params, lr=, momentum=0, dampening=0, weight_decay=0, nesterov=False) AS...
深度学习--优化器
qq_45875106的博客
05-14 6278
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言1 随机梯度下降法2 Momentum3 AdaGrad4 RMSProp5 Adam 前言 优化器是引导神经网络更新参数的工具，深度学习在计算出损失函数之后，需要利用优化器来进行反向传播，完成网络参数的更新。在这个过程中，便会使用到优化器，优化器可以利用计算机数值计算的方法来获取损失函数最小的网络参数。在深度学习中，不同的优化器只是定义了不同的一阶动量和二阶动量，一阶动量是与梯度相关的函数，二阶动量是与梯度平方相.
深度学习篇---优化器
最新发布
道阻且长，行则将至。
07-27 993
PyTorch优化器指南：从基础到进阶选择 本文系统介绍了PyTorch中各类优化器的特点和应用场景。基础优化器部分涵盖SGD及其变种（Momentum、NAG），解释了其"沿梯度方向调整参数"的核心思想。自适应学习率优化器部分详细解析了AdaGrad、RMSprop和Adam系列的工作原理，特别强调了Adam在深度学习中的广泛应用。文章还介绍了AdamW、RAdam等进阶优化器，并提供了实用选择建议。
借助创新实验,促进深度学习--以“阿基米德原理”的教学为例.pdf
08-18
学生在实验过程中通过小组合作和交流分享，不仅能够更加清楚地理解物理规律，还能够体会到物理现象与规律的和谐之美，这样的学习经验有助于学生实现深度学习。 在文档中提到的实验流程设计，充分展现了“直觉——...
基于深度学习的初中生物学实验创新与优化.pdf
08-18
基于深度学习理论，通过对实验教学的创新与优化，可以更有效地促进学生的深度学习，即一种注重主动加工、深度理解和长期保持的学习过程。 深度学习理论认为学习是个体感知、记忆、思维等认知过程的深化，它强调了...
促进深度学习的小学语文教学设计.pdf
08-19
在探讨如何促进小学语文深度学习的教学设计时，首先需要了解深度学习的定义及其在教学中的重要性。深度学习是一种在教师的引导下，围绕具有挑战性的学习主题，让学生全身心地积极参与、体验成功、获得发展的有意义的...
预设：深度学习的应然诉求——小学数学教学方法优化策略.pdf
08-18
本文以“深度学习”的教学理念为出发点，探讨了小学数学教学方法的优化策略，旨在提升学生的数学学习效果和深度学习能力。文章围绕小学数学教学的几个关键点，提出了一系列具有实践意义的建议和措施。下面详细解读...
从提升学习力角度谈小学数学深度学习.pdf
08-18
【小学数学深度学习的重要性】 深度学习是教育领域中一种强调主动参与、深度理解和知识应用的...同时，深度学习也要求教师具备专业指导能力，能够灵活运用数据分析和研究，以不断优化教学方法，确保教育的质量和效果。
Best-Deep-Learning-Optimizers:最新，最出色的深度学习优化器（适用于Pytorch）的集合-适用于CNN，NLP
04-05
最佳深度学习优化器 最新，最出色的深度学习优化器（适用于Pytorch）的集合-适用于CNN，NLP 当前表现最好的人=带有渐变集中化的游侠是领导者（2020年4月11日），这仅在初始测试中。 更新 - 2021年4月：认识Madgrad！ 添加了Madgrad，以减轻体重。 Madgrad是FB AI在2月发布的新优化器。 在使用变压器进行图像分类测试中，madgrad吹走了各种Adam变体。 但是，正如@nestoremeure所发现的那样，重量衰减量的影响类似于adam而不是adamW。 在测试中，AdamW样式的权重衰减是赢家，因此，在我的修改中使用了AdamW样式的wd。 推荐测试a）没有体重下降，由Madgrad的作者推荐，并且b）重量衰减与您使用此madgrad_wd版本的AdamW所使用的水平相同。 修改后的madgrad在这里： : 原始的madgrad在这里：
深度学习，各类优化器优缺点总结。
08-09
深度学习，各类优化器优缺点总结,包括：标准梯度下降法，随机梯度下降法，批量梯度下降法等11种方法。。。
一文彻底搞懂深度学习：优化器（Optimizer）
m0_56255097的博客
11-21 4730
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
【深度学习基础】优化器
qq_43491212的博客
05-28 630
深度学习常用优化器 参考： https://cloud.tencent.com/developer/article/1872633 https://www.cnblogs.com/guoyaohua/p/8542554.html https://zhuanlan.zhihu.com/p/377141061 论文 前置知识：梯度计算、指数加权平均 1. 背景 为深度学习模型选择合适的 optimizer 不是一项容易的任务。Pytorch、Tensorflow、Paddle 等深度学习库都提供了多种优
【深度学习】优化器详解
LogosTR_的博客
08-25 6720
深度学习中常见的优化器
深度学习系列（二）优化器 （Optimization）
yiyexy的博客
03-21 517
机器学习系列（二）优化器 （Optimization）梯度下降随机梯度下降批量梯度下降法 梯度下降 在上一节中，我们已经提到了，我们最终估计一个模型他的拟合程度是通过成本函数计算结果来判断的。 因此我们很容易知道，当成本函数达到最小值时，我们的模型就达到了最优。因此，我们更新参数的目标应该是朝着减少成本函数值的方向前进。 这里我们可以用到一个数学上的概念去求成本函数的最小值。通过梯度来求解。当我们根据成本函数L求得了对参数W的偏导时，便可以根据公式：W := W- α\alphaαdW 对参数W进行更新。
深度学习之优化器详细讲解
qq_44479403的博客
05-12 282
一文详解深度学习中的优化器
TEDDY的博客
04-06 1005
所谓的优化器，又叫神经网络优化算法，或者 梯度下降算法， 是通过改善训练方式，来最小化(或最大化)损失函数E(x)。 一文看懂各种神经网络优化算法：从梯度下降到Adam方法 - 知乎 https://zhuanlan.zhihu.com/p/27449596 从基本原理到梯度下降，小白都能看懂的神经网络教程 - 知乎 https://zhuanlan.zhihu.com/p/5...
深度学习的优化器总结
赵凯月的博客
05-09 694
深度学习（一般指深度神经网络DNN）有几个关键的要素：训练集，网络结构，损失函数（目标函数），优化方法。这里记录一下优化方法相关知识点吧。 为什么使用优化器 训练DNN时，我们的目标是更新网络参数以使得损失函数最小化，optimizer就是更新参数的方法。不同的optimizer都遵循一个基本原则： 是学习率，也就是每次参数更新的程度。根据是否改变学习率，可以将optimizer分为两大派别。 2. 学习率固定的optimizer 1) BGD：Batch gradient descent，即在整个训练集
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值