【算法笔记】深度学习中的优化器Optimizer算法（BGD,SGD,mBGD......）

最新推荐文章于 2025-05-29 18:41:33 发布
最新推荐文章于 2025-05-29 18:41:33 发布
阅读量1.7k 收藏 2
点赞数 1
分类专栏： 算法笔记
本文深入探讨了SGD（随机梯度下降法）这一优化器算法。SGD在每次迭代中仅使用一组训练数据，虽然单次迭代可能不朝向收敛，但整体趋势是向收敛方向发展。这一特性使其成为机器学习和深度学习中常用的优化算法。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在阅读文献的时候，看到其中提到“选用了SGD左右优化器算法”，然后找到了这篇详尽地解释了各种优化器算法地文章：
https://www.cnblogs.com/guoyaohua/p/8542554.html
文中提到的SGD指随机梯度下降法，每次迭代只使用一组训练数据，这样每次迭代不一定都朝着收敛方向去，但总体上是收敛的。

深度学习——优化器算法Optimizer详解（BGD、SGD、MBGD、Momentum、NAG、Adagrad、Adadelta、RMSprop、Adam）
2301_79571396的博客
06-16 1471
首先来看一下梯度下降最常见的三种变形 BGD，SGD，MBGD，这三种形式的区别就是取决于我们用多少数据来计算目标函数的梯度，这样的话自然就涉及到一个 trade－off，即参数更新的准确率和运行时间。
【深度学习】深入理解优化器Optimizer算法（BGD、SGD、MBGD、Momentum、NAG、Adagrad、Adadelta、RMSprop、Adam）...
郭耀华's Blog | 人工智能领域技术博客
04-10 224
在机器学习、深度学习中使用的优化算法除了常见的梯度下降，还有 Adadelta，Adagrad，RMSProp 等几种优化器，都是什么呢，又该怎么选择呢？ 在 Sebastian Ruder 的这篇论文中给出了常用优化器的比较，今天来学习一下：https://arxiv.org/pdf/1609.04747.pdf 本文将梳理： 每个算法的梯度更...
深度学习，各类优化器优缺点总结。
08-09
深度学习，各类优化器优缺点总结,包括：标准梯度下降法，随机梯度下降法，批量梯度下降法等11种方法。。。
深度学习算法(第5期)----深度学习中的优化器选择
春有百花秋有月，夏有凉风冬有雪！
06-15 430
上一期，我们一起学习了TensorFlow在训练深度网络的时候怎么解决梯度消失或梯度爆炸的问题，以及怎么尽可能的减少训练时间。 深度学习算法(第4期)---- TF训练DNN之进阶 这期我们继续学习训练深度网络时的一大神器----优化器。学习的路上，我们多多交流，共同进步。本期主要内容如下： Momentum optimization Nesterov Accelerated Gradi...
Adam优化器
大摆王的博客
05-29 875
Adam优化器是一种自适应学习率的优化算法，在深度学习领域应用广泛。它巧妙地结合了动量法和RMSProp算法的优点，能够有效地加速模型的训练过程。在训练过程中，对于每个参数，都会计算其梯度的一阶矩估计和二阶矩估计。一阶矩估计类似于动量法中的动量，它能够平滑梯度方向，加速优化过程。Adam通过指数加权移动平均的方法来计算一阶矩估计。其中，\(\beta_1\)是一阶矩估计的指数衰减率，一般取0.9左右，\(g_t\)是当前时刻的梯度。随着时间的推移，一阶矩估计会逐渐趋于稳定，能够反映梯度的长期趋势。
深度学习之优化器
antarm的博客
03-30 8618
深度学习之优化器 Optimizers是在网络训练时，对网络权重进行更新，使得模型最优化loss，现阶段主流的深度学习优化器是基于梯度的优化方法，代表有：SGD，Momentum，AdaGrad，Adam，Nesterov，RMSprop等。 SGD – 随地梯度下降法（Stochastic Gradient Descent） 从数学知识可知，函数朝着梯度方向上升最快，梯度反方向下降最快。而在深度学习的目标中，是最小化loss。直觉上可以想到能使用梯度下降方法，来最优化loss。形式上，我们可以将SGD
深度学习--优化器
qq_45875106的博客
05-14 6274
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言1 随机梯度下降法2 Momentum3 AdaGrad4 RMSProp5 Adam 前言 优化器是引导神经网络更新参数的工具，深度学习在计算出损失函数之后，需要利用优化器来进行反向传播，完成网络参数的更新。在这个过程中，便会使用到优化器，优化器可以利用计算机数值计算的方法来获取损失函数最小的网络参数。在深度学习中，不同的优化器只是定义了不同的一阶动量和二阶动量，一阶动量是与梯度相关的函数，二阶动量是与梯度平方相.
深度学习——优化器（optimizer）
AI_dataloads的博客
09-21 9356
在深度学习中，优化器（optimizer）是一种用于调整神经网络模型参数以最小化损失函数的算法。优化器的目标是根据输入数据和期望的输出标签来调整模型的权重和偏置，使得模型能够更好地拟合训练数据并在未见过的数据上表现良好。
深度学习中的梯度下降算法：详解与实践
xyaixy的博客
11-27 2765
梯度下降算法是深度学习中的核心优化方法，通过沿着损失函数的负梯度方向更新模型参数，以逐步逼近最优解。本文详细探讨了梯度下降的基本原理、三种主要变体（批量梯度下降、随机梯度下降、小批量梯度下降）、学习率的影响及调整方法，以及常见优化技巧（如梯度裁剪和动量方法）。此外，结合实践示例说明了如何在深度学习中高效应用梯度下降算法，为开发者提供理论与实践的全面指导。梯度下降算法的持续优化将为深度学习技术的发展奠定更坚实的基础。
【机器学习】【深度学习】优化器（Optimizer）
SmallBamboo的博客
06-08 6683
优化器(Optimizer)是深度学习中的一个核心的概念，用于更新神经网络的权重，以减少或最小化损失函数(loss function)的值。损失函数衡量了模型的预测值与真实值之间的差异，而优化器的目标是通过调整网络参数来最小化这个差异，从而提高模型的准确性和性能。在神经网络训练过程中，优化器在反向传播过程中起着至关重要的作用。反向传播计算了损失函数相当于模型参数的梯度(即损失函数的导数)，优化器则使用这些梯度来更新模型的参数。
深度学习之优化器（简要总结）
kuailezzf的博客
07-29 768
优化器是用于训练神经网络模型的关键组件，它们决定了模型参数如何根据损失函数的梯度进行更新。不同的优化器具有不同的特性和适用场景。下面将介绍几种常见的深度学习优化器，以及基于pytorch版本的定义和使用方法。
深度学习（三）：优化器
weixin_47357629的博客
08-17 2145
这个主干网络大多时候指的是提取特征的网络，其作用就是提取图片中的信息，共后面的网络使用。让网络的这两个部分同时进行训练，因为加载的backbone模型已经具有提取特征的能力了，在我们的训练过程中，会对他进行微调，使得其更适合于我们自己的任务。3.Bottleneck：瓶颈的意思，通常指的是网络输入的数据维度和输出的维度不同，输出的维度比输入的小了许多，就像脖子一样，变细了。经常设置的参数 bottle_num=256，指的是网络输出的数据的维度是256 ，可是输入进来的可能是1024维度的。......
深度学习常用优化器总结，具详细（SGD,Momentum,AdaGrad,Rmsprop,Adam,Adamw）
qq_42714262的博客
07-25 1681
优化器的本质是使用不同的策略进行参数更新。常用的方法就是梯度下降，那梯度下降是指在给定待优化的模型参数θ∈Rdθ∈Rd，和目标函数JθJ(\theta)Jθ，算法通过沿梯度∇Jθ∇Jθ的反方向更新权重θ\thetaθ，来最小化目标函数。学习率μ\muμ决定了每一时刻的更新步长。
一文详解深度学习中的优化器
TEDDY的博客
04-06 997
所谓的优化器，又叫神经网络优化算法，或者 梯度下降算法， 是通过改善训练方式，来最小化(或最大化)损失函数E(x)。 一文看懂各种神经网络优化算法：从梯度下降到Adam方法 - 知乎 https://zhuanlan.zhihu.com/p/27449596 从基本原理到梯度下降，小白都能看懂的神经网络教程 - 知乎 https://zhuanlan.zhihu.com/p/5...
深度学习基础-优化器学习
zero
05-20 259
1.Batch Gradient Descent （BGD） 梯度更新规则: BGD 采用整个训练集的数据来计算 cost function 对参数的梯度： 缺点： 一次更新对整个数据集计算梯度，所以计算非常慢，遇到很大量的数据集也会非常棘手，而且不能投入新数据实时更新模型。 Batch gradient descent 对于凸函数可以收敛到全局极小值，对于非凸函数可以收敛到局部极小值。 2.St...
深度学习各种优化器简介
weixin_44305115的博客
05-29 2163
深度学习中的优化器的思想来源基本上都是梯度下降(Gradient Descent) 根据以上框架，我们来分析和比较梯度下降的各种变种算法。 Vanilla SGD(朴素SGD) 朴素SGD最为简单且没有动量的概念。 注意这里的I2是指单位矩阵的平方。 SGD的缺点在于收敛速度慢，可能在鞍点处震荡，并且如何选择学习率是SGD的一大难点。 Momentum(动量法) SGD在遇到沟壑时容易陷入震荡。为此可以为其引入动量(Momentum),加速SGD在正确的方向下降并抑制震荡。 SGD-M在原步长的基础上
一文彻底搞懂深度学习：优化器（Optimizer）
m0_56255097的博客
11-21 4598
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
深度学习常用优化器总结
chen_znn的博客
07-07 3513
学习记录之深度学习常用优化器总结
Optimizer(优化器) -- SGD、Momentum、Adam等介绍
weixin_45760718的博客
09-08 2601
在学习RL代码过程中，对优化器的概念与作用一直不是很清晰，因此重新学习记录一下。
优化算法展开
最新发布
07-17
### 优化算法详解 在机器学习和深度学习中，优化算法是训练模型的核心工具之一。优化算法的目标是通过最小化损失函数（或代价函数）来找到最优的模型参数。以下是对几种常见优化算法的详细说明： #### 梯度下降法（Gradient Descent） 梯度下降法是一种经典的优化算法，其核心思想是沿着损失函数的负梯度方向更新参数，以逐步逼近最小值。根据每次更新使用的数据量，梯度下降可以分为以下几种形式： - **批量梯度下降（Batch Gradient Descent, BGD）**：每次迭代使用整个训练集计算梯度。这种方法计算稳定，但计算成本高。 - **随机梯度下降（Stochastic Gradient Descent, SGD）**：每次迭代仅使用一个样本计算梯度。这种方法计算速度快，但更新过程可能较为不稳定。 - **小批量梯度下降（Mini-Batch Gradient Descent, MBGD）**：每次迭代使用一小批样本计算梯度，是BGD和SGD的折中方案，兼顾了计算效率和稳定性[^1]。 #### 梯度下降法的改进 为了克服标准梯度下降法的不足（如收敛速度慢、容易陷入局部最优等），研究者提出了多种改进算法： - **动量法（Momentum）**：在梯度下降的基础上引入动量项，加速梯度方向上的更新，并抑制震荡。 - **Nesterov Accelerated Gradient (NAG)**：与动量法类似，但先根据动量方向进行预测，再计算梯度进行更新，具有更好的收敛性。 - **Adagrad**：为每个参数分配独立的学习率，适用于稀疏数据。 - **Adadelta**：改进了Adagrad，解决了学习率逐渐衰减至零的问题。 - **RMSprop**：通过引入指数加权移动平均，解决了Adagrad的学习率衰减问题。 - **Adam**：结合了动量法和RMSprop的优点，是目前深度学习中最常用的优化器之一。 #### 牛顿法与拟牛顿法（Newton's Method & Quasi-Newton Methods） - **牛顿法**：利用损失函数的二阶导数（Hessian矩阵）来加速收敛，通常比梯度下降法更快，但计算Hessian矩阵及其逆矩阵的成本较高。 - **拟牛顿法**：通过近似Hessian矩阵或其逆矩阵来减少计算成本，常见的拟牛顿法包括BFGS和L-BFGS。 #### 共轭梯度法（Conjugate Gradient） 共轭梯度法是一种介于梯度下降法和牛顿法之间的优化算法。它不需要计算Hessian矩阵，但比梯度下降法具有更快的收敛速度，适用于大规模问题。 #### 优化算法的选择 在实际应用中，选择合适的优化算法需要综合考虑以下因素： - 数据规模：对于大规模数据集，通常选择SGD或Adam。 - 模型复杂度：对于复杂模型，可能需要使用自适应学习率算法（如Adam）。 - 计算资源：如果计算资源有限，可以选择MBGD或拟牛顿法。 #### 代码实现 以下是一个使用PyTorch实现Adam优化器的示例代码： ```python import torch import torch.nn as nn import torch.optim as optim # 定义一个简单的线性模型 model = nn.Linear(10, 1) # 定义损失函数 criterion = nn.MSELoss() # 定义Adam优化器 optimizer = optim.Adam(model.parameters(), lr=0.001) # 模拟输入数据 inputs = torch.randn(32, 10) targets = torch.randn(32, 1) # 前向传播 outputs = model(inputs) loss = criterion(outputs, targets) # 反向传播和优化 optimizer.zero_grad() loss.backward() optimizer.step() ``` #### 局部最优与鞍点问题 在优化过程中，局部最优和鞍点问题是常见的挑战。局部最优是指优化算法收敛到一个局部最小值而非全局最小值。鞍点则是指在某些方向上梯度为零，但并非极值点。现代优化算法（如Adam）通过动量和自适应学习率机制，能够在一定程度上缓解这些问题[^3]。 ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值