【算法笔记】深度学习中的优化器Optimizer算法（BGD,SGD,mBGD......）

最新推荐文章于 2025-10-23 10:06:09 发布
转载 最新推荐文章于 2025-10-23 10:06:09 发布 · 1.7k 阅读 · 2

本文深入探讨了SGD（随机梯度下降法）这一优化器算法。SGD在每次迭代中仅使用一组训练数据，虽然单次迭代可能不朝向收敛，但整体趋势是向收敛方向发展。这一特性使其成为机器学习和深度学习中常用的优化算法。

在阅读文献的时候，看到其中提到“选用了SGD左右优化器算法”，然后找到了这篇详尽地解释了各种优化器算法地文章：
https://www.cnblogs.com/guoyaohua/p/8542554.html
文中提到的SGD指随机梯度下降法，每次迭代只使用一组训练数据，这样每次迭代不一定都朝着收敛方向去，但总体上是收敛的。

深度学习之优化器
antarm的博客
03-30 8760
深度学习之优化器 Optimizers是在网络训练时，对网络权重进行更新，使得模型最优化loss，现阶段主流的深度学习优化器是基于梯度的优化方法，代表有：SGD，Momentum，AdaGrad，Adam，Nesterov，RMSprop等。 SGD – 随地梯度下降法（Stochastic Gradient Descent） 从数学知识可知，函数朝着梯度方向上升最快，梯度反方向下降最快。而在深度学习的目标中，是最小化loss。直觉上可以想到能使用梯度下降方法，来最优化loss。形式上，我们可以将SGD
pytorch人工神经网络基础：线性回归神经网络(nn.Module+nn.Sequential+nn.Linear+nn.init+optim.SGD)
hustlei的专栏
03-19 3022
线性回归是人工神经网络的基础，感知机都就是单层或少数层的线性回归。线性回归属于有监督的学习，即根据有标签（已知结果的数据）拟合线性方程权重，然后根据拟合的方程预测未知数据。 通常步骤为： 准备数据：获取有标签的数据（有结果的数据）。 建立模型：根据线性方程设计模型。 配置模型：确定损失函数、优化方法、初始化参数。 训练模型：根据有标签的数据进行回归学习。 测试：根据训练好的（回归结果）线性方程模型计算，评估模型是否准确。 1 准备工作 导入必要的库。 import torch from torch im
深度学习，各类优化器优缺点总结。
08-09
深度学习，各类优化器优缺点总结,包括：标准梯度下降法，随机梯度下降法，批量梯度下降法等11种方法。。。
【人工智能】神经网络的优化器optimizer（四）：Adam自适应动量优化器
最新发布
师兄怎么办
10-23 1596
Adam优化器是一种结合动量和自适应学习率的深度学习优化算法，通过计算梯度的一阶矩和二阶矩实现参数更新。其核心优势在于：1）采用偏差修正技术解决初始阶段估计偏差问题；2）融合动量机制和自适应学习率特性，相比SGD、Momentum和RMSProp等优化器具有更快的收敛速度；3）每个参数独立调整学习率。实验表明，带偏差修正的Adam在参数更新轨迹和损失收敛上都优于未修正版本，使其成为深度学习中最常用的优化器之一。
深度学习算法(第5期)----深度学习中的优化器选择
春有百花秋有月，夏有凉风冬有雪！
06-15 469
上一期，我们一起学习了TensorFlow在训练深度网络的时候怎么解决梯度消失或梯度爆炸的问题，以及怎么尽可能的减少训练时间。 深度学习算法(第4期)---- TF训练DNN之进阶 这期我们继续学习训练深度网络时的一大神器----优化器。学习的路上，我们多多交流，共同进步。本期主要内容如下： Momentum optimization Nesterov Accelerated Gradi...
深度学习--优化器
qq_45875106的博客
05-14 6344
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言1 随机梯度下降法2 Momentum3 AdaGrad4 RMSProp5 Adam 前言 优化器是引导神经网络更新参数的工具，深度学习在计算出损失函数之后，需要利用优化器来进行反向传播，完成网络参数的更新。在这个过程中，便会使用到优化器，优化器可以利用计算机数值计算的方法来获取损失函数最小的网络参数。在深度学习中，不同的优化器只是定义了不同的一阶动量和二阶动量，一阶动量是与梯度相关的函数，二阶动量是与梯度平方相.
深度学习——优化器算法Optimizer详解（BGD、SGD、MBGD、Momentum、NAG、Adagrad、Adadelta、RMSprop、Adam）
2301_79571396的博客
06-16 1561
首先来看一下梯度下降最常见的三种变形 BGD，SGD，MBGD，这三种形式的区别就是取决于我们用多少数据来计算目标函数的梯度，这样的话自然就涉及到一个 trade－off，即参数更新的准确率和运行时间。
深度学习训练之optimizer优化器（BGD、SGD、MBGD、SGDM、NAG、AdaGrad、AdaDelta、Adam）的最全系统详解
qq_23022733的博客
04-22 7990
文章目录
【深度学习】深入理解优化器Optimizer算法（BGD、SGD、MBGD、Momentum、NAG、Adagrad、Adadelta、RMSprop、Adam）...
郭耀华's Blog | 人工智能领域技术博客
04-10 256
在机器学习、深度学习中使用的优化算法除了常见的梯度下降，还有 Adadelta，Adagrad，RMSProp 等几种优化器，都是什么呢，又该怎么选择呢？ 在 Sebastian Ruder 的这篇论文中给出了常用优化器的比较，今天来学习一下：https://arxiv.org/pdf/1609.04747.pdf 本文将梳理： 每个算法的梯度更...
深度学习——优化器（optimizer）
AI_dataloads的博客
09-21 9637
在深度学习中，优化器（optimizer）是一种用于调整神经网络模型参数以最小化损失函数的算法。优化器的目标是根据输入数据和期望的输出标签来调整模型的权重和偏置，使得模型能够更好地拟合训练数据并在未见过的数据上表现良好。
【机器学习】【深度学习】优化器（Optimizer）
SmallBamboo的博客
06-08 7223
优化器(Optimizer)是深度学习中的一个核心的概念，用于更新神经网络的权重，以减少或最小化损失函数(loss function)的值。损失函数衡量了模型的预测值与真实值之间的差异，而优化器的目标是通过调整网络参数来最小化这个差异，从而提高模型的准确性和性能。在神经网络训练过程中，优化器在反向传播过程中起着至关重要的作用。反向传播计算了损失函数相当于模型参数的梯度(即损失函数的导数)，优化器则使用这些梯度来更新模型的参数。
深度学习之优化器（简要总结）
kuailezzf的博客
07-29 865
优化器是用于训练神经网络模型的关键组件，它们决定了模型参数如何根据损失函数的梯度进行更新。不同的优化器具有不同的特性和适用场景。下面将介绍几种常见的深度学习优化器，以及基于pytorch版本的定义和使用方法。
深度学习（三）：优化器
weixin_47357629的博客
08-17 2202
这个主干网络大多时候指的是提取特征的网络，其作用就是提取图片中的信息，共后面的网络使用。让网络的这两个部分同时进行训练，因为加载的backbone模型已经具有提取特征的能力了，在我们的训练过程中，会对他进行微调，使得其更适合于我们自己的任务。3.Bottleneck：瓶颈的意思，通常指的是网络输入的数据维度和输出的维度不同，输出的维度比输入的小了许多，就像脖子一样，变细了。经常设置的参数 bottle_num=256，指的是网络输出的数据的维度是256 ，可是输入进来的可能是1024维度的。......
深度学习常用优化器总结，具详细（SGD,Momentum,AdaGrad,Rmsprop,Adam,Adamw）
qq_42714262的博客
07-25 1769
优化器的本质是使用不同的策略进行参数更新。常用的方法就是梯度下降，那梯度下降是指在给定待优化的模型参数θ∈Rdθ∈Rd，和目标函数JθJ(\theta)Jθ，算法通过沿梯度∇Jθ∇Jθ的反方向更新权重θ\thetaθ，来最小化目标函数。学习率μ\muμ决定了每一时刻的更新步长。
一文详解深度学习中的优化器
TEDDY的博客
04-06 1016
所谓的优化器，又叫神经网络优化算法，或者 梯度下降算法， 是通过改善训练方式，来最小化(或最大化)损失函数E(x)。 一文看懂各种神经网络优化算法：从梯度下降到Adam方法 - 知乎 https://zhuanlan.zhihu.com/p/27449596 从基本原理到梯度下降，小白都能看懂的神经网络教程 - 知乎 https://zhuanlan.zhihu.com/p/5...
深度学习基础-优化器学习
zero
05-20 271
1.Batch Gradient Descent （BGD） 梯度更新规则: BGD 采用整个训练集的数据来计算 cost function 对参数的梯度： 缺点： 一次更新对整个数据集计算梯度，所以计算非常慢，遇到很大量的数据集也会非常棘手，而且不能投入新数据实时更新模型。 Batch gradient descent 对于凸函数可以收敛到全局极小值，对于非凸函数可以收敛到局部极小值。 2.St...
深度学习各种优化器简介
weixin_44305115的博客
05-29 2193
深度学习中的优化器的思想来源基本上都是梯度下降(Gradient Descent) 根据以上框架，我们来分析和比较梯度下降的各种变种算法。 Vanilla SGD(朴素SGD) 朴素SGD最为简单且没有动量的概念。 注意这里的I2是指单位矩阵的平方。 SGD的缺点在于收敛速度慢，可能在鞍点处震荡，并且如何选择学习率是SGD的一大难点。 Momentum(动量法) SGD在遇到沟壑时容易陷入震荡。为此可以为其引入动量(Momentum),加速SGD在正确的方向下降并抑制震荡。 SGD-M在原步长的基础上
一文彻底搞懂深度学习：优化器（Optimizer）
m0_56255097的博客
11-21 6034
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
深度学习常用优化器总结
chen_znn的博客
07-07 3699
学习记录之深度学习常用优化器总结
优化算法展开
07-17
### 优化算法详解 在机器学习和深度学习中，优化算法是训练模型的核心工具之一。优化算法的目标是通过最小化损失函数（或代价函数）来找到最优的模型参数。以下是对几种常见优化算法的详细说明： #### 梯度下降法（Gradient Descent） 梯度下降法是一种经典的优化算法，其核心思想是沿着损失函数的负梯度方向更新参数，以逐步逼近最小值。根据每次更新使用的数据量，梯度下降可以分为以下几种形式： - **批量梯度下降（Batch Gradient Descent, BGD）**：每次迭代使用整个训练集计算梯度。这种方法计算稳定，但计算成本高。 - **随机梯度下降（Stochastic Gradient Descent, SGD）**：每次迭代仅使用一个样本计算梯度。这种方法计算速度快，但更新过程可能较为不稳定。 - **小批量梯度下降（Mini-Batch Gradient Descent, MBGD）**：每次迭代使用一小批样本计算梯度，是BGD和SGD的折中方案，兼顾了计算效率和稳定性[^1]。 #### 梯度下降法的改进 为了克服标准梯度下降法的不足（如收敛速度慢、容易陷入局部最优等），研究者提出了多种改进算法： - **动量法（Momentum）**：在梯度下降的基础上引入动量项，加速梯度方向上的更新，并抑制震荡。 - **Nesterov Accelerated Gradient (NAG)**：与动量法类似，但先根据动量方向进行预测，再计算梯度进行更新，具有更好的收敛性。 - **Adagrad**：为每个参数分配独立的学习率，适用于稀疏数据。 - **Adadelta**：改进了Adagrad，解决了学习率逐渐衰减至零的问题。 - **RMSprop**：通过引入指数加权移动平均，解决了Adagrad的学习率衰减问题。 - **Adam**：结合了动量法和RMSprop的优点，是目前深度学习中最常用的优化器之一。 #### 牛顿法与拟牛顿法（Newton's Method & Quasi-Newton Methods） - **牛顿法**：利用损失函数的二阶导数（Hessian矩阵）来加速收敛，通常比梯度下降法更快，但计算Hessian矩阵及其逆矩阵的成本较高。 - **拟牛顿法**：通过近似Hessian矩阵或其逆矩阵来减少计算成本，常见的拟牛顿法包括BFGS和L-BFGS。 #### 共轭梯度法（Conjugate Gradient） 共轭梯度法是一种介于梯度下降法和牛顿法之间的优化算法。它不需要计算Hessian矩阵，但比梯度下降法具有更快的收敛速度，适用于大规模问题。 #### 优化算法的选择 在实际应用中，选择合适的优化算法需要综合考虑以下因素： - 数据规模：对于大规模数据集，通常选择SGD或Adam。 - 模型复杂度：对于复杂模型，可能需要使用自适应学习率算法（如Adam）。 - 计算资源：如果计算资源有限，可以选择MBGD或拟牛顿法。 #### 代码实现 以下是一个使用PyTorch实现Adam优化器的示例代码： ```python import torch import torch.nn as nn import torch.optim as optim # 定义一个简单的线性模型 model = nn.Linear(10, 1) # 定义损失函数 criterion = nn.MSELoss() # 定义Adam优化器 optimizer = optim.Adam(model.parameters(), lr=0.001) # 模拟输入数据 inputs = torch.randn(32, 10) targets = torch.randn(32, 1) # 前向传播 outputs = model(inputs) loss = criterion(outputs, targets) # 反向传播和优化 optimizer.zero_grad() loss.backward() optimizer.step() ``` #### 局部最优与鞍点问题 在优化过程中，局部最优和鞍点问题是常见的挑战。局部最优是指优化算法收敛到一个局部最小值而非全局最小值。鞍点则是指在某些方向上梯度为零，但并非极值点。现代优化算法（如Adam）通过动量和自适应学习率机制，能够在一定程度上缓解这些问题[^3]。 ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值