随机梯度下降（Stochastic Gradient Descent，SGD） 迭代优化算法原理、算法实现及应用

已于 2023-08-06 03:57:18 修改
阅读量2k 收藏 1
点赞数 3
分类专栏： Python实战 文章标签： 自然语言处理 人工智能 语言模型 编程实践 开发语言 架构设计
于 2023-08-06 01:47:46 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/universsky2015/article/details/132126730
版权
随机梯度下降（SGD）是一种迭代优化算法，用于最小化代价函数。本文介绍了SGD的基本概念，包括代价函数、梯度下降算法及其变种，并详细阐述了SGD的原理、代码实现和应用。同时，对比了AdaGrad、RMSprop和Adam等优化算法，探讨了在不同问题上选择合适优化器的策略。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

作者：禅与计算机程序设计艺术

1.简介

概括地来说，随机梯度下降（Stochastic Gradient Descent，SGD）是一种迭代优化算法，用于最小化代价函数J(θ)。该算法在每次迭代时随机选择一个训练样本，并利用该样本对模型参数θ进行更新，然后重复这个过程多次。虽然每次迭代都能获得局部最优解，但是由于采用了随机梯度下降法，使得模型训练的效率很高，而且能够很好地克服局部最优解带来的挑战。但同时，这种方法也是有其缺点的。一般来说，当训练集较小时，随机梯度下降法易受到噪声的影响，可能会陷入局部最优解的漫长寻找中；另外，随着迭代次数增加，计算代价也会呈指数增长，导致训练时间变得更加长久。为了解决这些问题，一些学者提出了改进的随机梯度下降法，如AdaGrad、Adam等。但无论如何，由于随机梯度下降算法对于代价函数的敏感性和非凸性，需要做出一定调整和折衷。因此，如果能设计出一种更好的随机梯度下降算法，或许可以避免这样的不利后果。
本文将探讨一下SGD的原理、算法实现及应用。通过阅读本文，读者可以了解到：

  • SGD原理及其局限性
  • AdaGrad、RMSprop、Adam算法各自适用的情况
  • 如何根据实际场景选择合适的优化器
  • 如何在PyTorch中实现
了解本专栏 订阅专栏 解锁全文 超级会员免费看
随机梯度下降 Stochastic Gradient Descent (SGD) 原理与代码实战案例讲解
AI天才研究院
08-05 1421
随机梯度下降(Stochastic Gradient Descent, SGD)作为机器学习和深度学习中最常用的优化算法之一,在训练大规模数据集和复杂模型时展现出卓越的性能。本文将深入探讨SGD的原理,阐述其数学模型,并通过代码实例和实际应用场景来帮助读者全面理解和掌握这一重要算法。Momentum:引入动量项,加速SGD收敛并减少震荡Adagrad:自适应学习率,为每个参数维护一个学习率RMSprop:解决Adagrad学习率过度衰减的问题。
随机梯度下降 (Stochastic Gradient Descent)
AI天才研究院
06-18 1250
1. 背景介绍 在机器学习和深度学习中，优化算法是非常重要的一部分，它们用于找到最优的模型参数，以最小化损失函数。随机梯度下降（Stochastic Gradient Descent，SGD）是一种常用的优化算法，它通过随机选择数据样本的梯度来更新模型参数，因此得名。在这篇文章中，我们将深入探讨随机梯度下降的原理、实现和应用。
机器学习：随机梯度下降法
weixin_30622181的博客
06-27 5227
1.梯度下降 1）什么是梯度下降？ 因为梯度下降是一种思想，没有严格的定义，所以用一个比喻来解释什么是梯度下降。 简单来说，梯度下降就是从山顶找一条最短的路走到山脚最低的地方。但是因为选择方向的原因，我们找到的的最低点可能不是真正的最低点。如图所示，黑线标注的路线所指的方向并不是真正的地方。 既然是选择一个方向下山...
自适应学习速率SGD优化算法
热门推荐
suixinsuiyuan33的博客
04-07 2万+
自适应学习速率SGD优化算法 链接： http://blog.youkuaiyun.com/suixinsuiyuan33/article/details/69229376 梯度下降算法是机器学习中使用非常广泛的优化算法，也是众多机器学习算法中最常用的优化方法。几乎当前每一个先进的(state-of-the-art)机器学习库或者深度学习库都会包括梯度下降算法的不同变种实现。但是，它们就像一个
随机梯度下降中的优化算法
u013453936的专栏
01-08 1741
1、动量法 加入历史梯度累积，作为下降方向。 2、Nesterov 加速梯度法 在之前的累积梯度上前进一步，根据当前情况进行修正。相较于动量法，增加了当前情况的修正。动量法容易在梯度的来回震荡中抵消一部分动量作用，Nesterov 加速梯度法有效改进了不足之处。 3、Adagrad算法 以上两种动量法都是对不同的参数进行同样的调整，对于稀疏矩阵，往往一些参数更新频繁，另一些
随机梯度下降法(SGD)原理解析及其改进优化算法
qq_45583898的博客
07-05 759
原文章：https://zhuanlan.zhihu.com/p/152566066
随机梯度下降算法SGD
weixin_37958272的博客
07-05 1784
随机梯度下降算法SGD 参考：为什么说随机最速下降法 (SGD) 是一个很好的方法？ 假如我们要优化一个函数f(x)f(x)f(x) ，即找到它的最小值，常用的方法叫做 Gradient Descent (GD)，也就是最速下降法。说起来很简单, 就是每次沿着当前位置的导数方向走一小步，走啊走啊就能够走到一个好地方了。 如上图, 就像你下山一样，每一步你都挑最陡的路走，如果最后你没摔死的话，一般你很快就能够走到山脚。用数学表示一下，就是 xt+1=xt−ηt∇f(xt)x_{t+1}=x_t-\eta_t
直观从零理解 梯度下降(Gradient descent) VS 随机梯度下降 (Stochastic gradient descent) 函数优化
胭脂草的ABC博客
01-03 804
首发于单变量微分(Differentiation)常用基本微分有：四则运算法则：链式法则(Chain-rule)极大值(maxima)与极小值(minima)向量微分梯度下降(Gradient descent):几何直觉学习率（Learning Rate）的直观理解案例：线性回归的梯度下降法随机梯度下降 (Stochastic gradient descent)
随机梯度下降算法（SGD）
xiuxiuxiulai的博客
10-11 3076
何为随机梯度下降？ 在scikit-learn官方文档中有着这样的定义：是一种简单但又非常高效的方法，主要用于凸损失函数下线性分类器的判别式学习，例如(线性) 支持向量机 和 Logistic 回归。 在百度百科中对梯度下降法的解释：梯度下降法（英语：Gradient descent）是一个一阶最优化算法，通常也称为最速下降法。 要使用梯度下降法找到一个函数的局部极小值，必须向函数上当前点对应梯度...
机器学习 | 随机梯度下降（SGD）和Python实现
python收藏家的博客
05-21 1604
梯度下降是一个迭代优化过程，搜索目标函数的最优值（最小值/最大值）。它是改变模型参数以降低机器学习项目中的成本函数的最常用方法之一。梯度下降的主要目标是识别在训练和测试数据集上提供最大准确度的模型参数。在梯度下降中，梯度是指向函数在特定点处最陡上升的一般方向的向量。该算法可以通过在梯度的相反方向上移动而朝向函数的较低值逐渐下降，直到达到函数的最小值。
随机梯度下降sgd
03-14
logistic随机梯度下降问题.docx
机器学习&&深度学习——随机梯度下降算法（及其优化）
m0_52380556的博客
07-22 1382
机器学习&&深度学习——随机梯度下降算法（及其优化）
随机梯度下降（SGD）的一些优化方法
qq_43280087的博客
01-11 462
强烈推荐：深度学习中优化方法——momentum、Nesterov Momentum、AdaGrad、Adadelta、RMSprop、Adam
随机梯度下降法（SGD）
Whiteleaf3er的博客
11-21 9398
有一组数据，需要进行拟合，（拟合后可以做很多事，做很多事都需要数据拟合，比如机器学习，从样本中学习也就是拟合的过程） 假设这个拟合函数为（1式） 拟合有误差，比如本来这个x对应的是100，你确根据拟合函数得到为200，这就是误差 而一堆x，就会产生一堆误差，这就确定了损失函数 其中，J(θ)是损失函数，m代表每次取多少样本进行训练，如果采用SGD进行训练，那每次随机取一组样本，m=...
随机梯度下降SGD算法原理和实现
mercies的博客
02-19 4806
backpropagation backpropagation解决的核心问题损失函数c与w,b求偏导，(c为cost(w,b)) 整体来说，分两步 1.z=w*a’+b 2.a=sigmoid(z) 其中，a’表示上一层的输出值，a表示当前该层的输出值 1，输入x，正向的更新一遍所有的a值就都有了， 2，计算输出层的delta=(y-a)点乘sigmoid(z)函数对z的偏导数 3，计算输出层之前...
SGD原理
ACM之路
12-30 4672
https://spaces.ac.cn/archives/5655
梯度下降法（二）——随机梯度下降法及其调试
m0_58700887的博客
06-20 1267
随机梯度下降法实现与调试
优化器与优化方法：随机梯度下降（SGD）
m0_70911440的博客
12-03 1万+
随机梯度下降（SGD）是最经典和常用的优化算法之一，本文将重点介绍和解释SGD的概念、算法原理以及在深度学习中的应用和优缺点。1. 低计算成本：SGD每次仅使用一个样本或一批样本进行模型参数更新，相比于使用全部样本的批量梯度下降（BGD），计算成本更低。1. 动量法（Momentum）：引入一个动量项，使更新方向在梯度变化较大的维度上具有一定的惯性，从而加速收敛并减少震荡。4. RMSprop：对Adagrad进行改进，通过平均梯度的平方来调整学习率，从而缓解训练过程中的震荡。SGD的原理相对简单。
【pytotch_3】SGD随机梯度下降的实现
sinat_37439203的博客
10-01 351
梯度下降是对于全部样本而言的，所以它需要的是代价函数，对loss最终要求和。即： 所以带入后： 对于随机梯度下降（SGD）来说，是对于单个样本而言的，即对每个样本梯度更新，并迭代权重。所以它每次只用loss函数即可，无需求和。 损失函数： SGD实现： import matplotlib.pyplot as plt x_data = [1.0,2.0,3.0] y_data = [2.0,4.0,6.0] #输入两个样本数据 w = 1.0 ...
SGD算法
最新发布
03-19
### SGD算法原理 Stochastic Gradient Descent (SGD) 是一种用于优化机器学习模型的常用方法。它基于梯度下降的思想，但在每次迭代中仅使用单个样本或一小批样本来估计整个数据集上的梯度[^1]。这种方法显著减少了每一步所需的计算量，从而加快了收敛速度。 具体来说，在传统的批量梯度下降中，我们需要遍历整个训练集才能完成一次权重更新；而在随机梯度下降中，则只需选取一个样本即可完成参数调整。这种策略不仅提高了效率，还能够帮助跳出局部最优解，因为噪声的存在可能促使算法探索更广阔的解空间[^4]。 对于线性回归这样的问题，给定一组带有标签的数据点 \( \{(x_i, y_i)\}_{i=1}^n\) ，我们的目的是寻找最佳拟合直线 \( \hat{y} = \theta^T x \)，使其预测值尽可能接近实际观测到的结果\( y \)[^3]。此时可以通过定义均方误差作为损失函数来进行求解： \[ L(\theta) = \frac{1}{2m}\sum_{i=1}^{m}(h_\theta(x^{(i)}) - y^{(i)})^2 \] 其中 \( h_\theta(x) = \theta^T x \) 表示假设函数，而 m 则代表总的样本数量。为了最小化上述表达式的数值大小，可以采用如下形式的更新规则: \[ \theta_j := \theta_j - \alpha [\partial/\partial{\theta_j}] L(\theta) \] 这里 α 被称为学习率，控制着步长的选择; j 指代当前正在考虑的具体维度索引位置。 ### 使用 PyTorch 实现 SGD 以下是利用 Python 编程语言中的科学计算框架——PyTorch 来构建并应用简单的神经网络结构以及执行相应的随机梯度下降过程的一个例子[^2]: ```python import torch from torch import nn, optim # 创建模拟数据集 X_train = torch.tensor([[0], [1]], dtype=torch.float32) Y_train = X_train * 2 + 1 class SimpleLinearModel(nn.Module): def __init__(self): super(SimpleLinearModel, self).__init__() self.linear = nn.Linear(1, 1) def forward(self, x): return self.linear(x) model = SimpleLinearModel() criterion = nn.MSELoss() # 均方差代价函数 optimizer = optim.SGD(model.parameters(), lr=0.01) # 设置学习率为 0.01 的随机梯度下降器 for epoch in range(50): model.train() optimizer.zero_grad() outputs = model(X_train) loss = criterion(outputs, Y_train) loss.backward() optimizer.step() print('Finished Training') ``` 此脚本首先导入必要的模块，并初始化了一个小型全连接层组成的网络架构实例 `SimpleLinearModel` 。接着指定好 MSE Loss 和 Optimizer 后进入循环体内部逐轮次地调用 `.zero_grad()` 方法清除之前的梯度记录、前向传播获取输出结果、依据差异反向传递错误信号最后再由选定好的优化机制自动调节各可学参数直至满足终止条件为止。 ### 学习速率调度策略 有时为了让训练更加稳定有效或者加速后期精细化微调阶段进展缓慢的情况发生时，我们可以引入动态改变学习率的技术手段之一便是余弦退火法(Cosine Annealing with Warm Restarts)。该技术会按照预设规律周期性的降低初始设定的学习比率直到达到最低界限后再重新恢复至较高水平继续新一轮降温操作以此类推不断重复下去形成锯齿状波动曲线图象效果[^5]。
评论 13
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI天才研究院

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值