Stochastic Gradient Descent vs Batch Gradient Descent vs Mini-batch Gradient Descent

最新推荐文章于 2024-06-30 10:26:29 发布
原创 最新推荐文章于 2024-06-30 10:26:29 发布 · 2.6k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#随机梯度下降算法 #批量梯度下降算法 #SGD #BGD

本文对比分析了批量梯度下降(BGD)、随机梯度下降(SGD)与小批量梯度下降(MBGD)三种算法的特点及应用场景。批量梯度下降使用所有训练样本更新参数，适合小规模数据；随机梯度下降每次仅用一个样本进行参数更新，适用于大规模数据集；小批量梯度下降则结合两者优势，选取部分样本进行迭代。

梯度下降是最小化风险函数/损失函数的一种经典常见的方法，下面总结下三种梯度下降算法异同。

1、 批量梯度下降算法（Batch gradient descent）

以线性回归为例，损失函数为这里写图片描述

BGD算法核心思想为每次迭代用所有的训练样本来更新Theta，这对于训练样本数m很大的情况是很耗时的。

BGD算法表示为
这里写图片描述
或者表示为
这里写图片描述
这里写图片描述
其中X(m*n)为训练样本矩阵，α为学习速率，m为样本数，y(m*1)为样本结果标签向量，Theta(n*1)为参数向量

其中损失函数 J 对Theta的导数为
这里写图片描述

for iter = 1:num_iters

theta=theta-alpha/m*X'*(X*theta-y);

end

迭代num_iters次的BGD如上述代码所示

BGD大体执行过程
这里写图片描述

2、随机梯度下降算法(Stochastic Gradient Descent)

SGD在大规模训练集上会更高效
SGD的损失函数也与BGD有所不同
这里写图片描述

SGD算法在于每次只去拟合一个训练样本，这使得在梯度下降过程中不需去用所有训练样本来更新Theta。BGD每次迭代都会朝着最优解逼近，而SGD由于噪音比BGD多，多以SGD并不是每次迭代都朝着最优解逼近，但大体方向是朝着最优解，SGD大约要遍历1-10次数据次来获取最优解。

SGD算法大体分两步
这里写图片描述

SGD算法大体执行过程
这里写图片描述

其中学习速率α一般设置为常数，但我们也可以将α随迭代次数而减小，这样更有利于我们函数收敛向最优解

小批量梯度下降算法(Mini-batch Gradient Descent)

MBGD有时候甚至比SGD更高效。
MBGD不像BGD每次用m（所有训练样本数）个examples去训练，也不像SGD每次用一个example。MBGD使用中间值b个examples
经典的b取值大约在2-100
例如 b=10，m=1000

这里写图片描述

此处MBGD每次只用10个examples来训练。

参考自Andrew NG 在coursera的machine learning week10
参考链接

随机梯度下降 (Stochastic Gradient Descent)
AI天才研究院
06-18 1427
1. 背景介绍 在机器学习和深度学习中，优化算法是非常重要的一部分，它们用于找到最优的模型参数，以最小化损失函数。随机梯度下降（Stochastic Gradient Descent，SGD）是一种常用的优化算法，它通过随机选择数据样本的梯度来更新模型参数，因此得名。在这篇文章中，我们将深入探讨随机梯度下降的原理、实现和应用。
AI学习指南数学工具篇-梯度下降算法之批量梯度下降（Batch Gradient Descent）
俞兆鹏的博客
05-17 2196
m = len(y)批量梯度下降算法是梯度下降算法的一种形式，它通过计算全部训练数据的梯度来更新模型参数，相对于随机梯度下降和小批量梯度下降来说更稳定，但计算代价更大。在实际应用中，我们可以根据具体的问题和数据集选择合适的梯度下降算法，以得到更好的训练效果。在本文中，我们详细介绍了批量梯度下降算法的原理和实现，并给出了Python示例。希望本文能够帮助读者更好地理解和应用批量梯度下降算法，从而在机器学习和深度学习领域取得更好的成果。
多种梯度下降变体的对比：Batch gradient descent、Mini-batch gradient descent 和 stochastic gradient descent
Kevin.wang
07-20 970
文章目录一. 批量梯度下降（Batch gradient descent）二. 随机梯度下降法（Stochastic Gradient Descent） 一. 批量梯度下降（Batch gradient descent） 批量梯度下降（Batch gradient descent），是梯度下降法最常用的形式，具体做法也就是在更新参数时使用所有的样本来进行更新。 θ=θ−η⋅∇θJ(θ) θ = θ − η · ∇θJ(θ) θ=θ−η⋅∇θJ(θ) 由于我们需要计算整个数据集的梯度以仅执行一次更新，因此批量
（Stochastic gradient descent）和 （Batch gradient descent ）的对比
ZSZ_shsf的博客
08-31 631
BATCH: 但是每迭代一步，都要用到训练集所有的数据 Stochastic: 随机梯度下降是通过每个样本来迭代更新一次，如果样本量很大的情况（例如几十万），那么可能只用其中几万条或者几千条的样本，就已经将theta迭代到最优解了，对比上面的批量梯度下降，迭代一次需要用到十几万训练样本，一次迭代不可能最优，如果迭代10次的话就需要遍历训练样本10次。但是，SGD伴随的一个问题是噪音较BGD要多
Batch gradient descent, Stochastic gradient descent, mini-batch gradient descent的区别
weixin_42075898的博客
11-24 274
Batch gradient descent（批标准化），顾名思义，每次进行参数更新时，将所有样本得到的误差求均值，再进行梯度更新（反向传播） Stochastic gradient descent（随机梯度下降），每个训练数据都计算误差和梯度更新 mini-batch gradient descent，每m个训练数据计算一次误差的平均值，然后进行梯度更新 上述定义摘自吴恩达的机器学习课程，但在...
随机梯度下降法（Stochastic gradient descent）和 批量梯度下降（Batch gradient descent ）的公式对比、实现对比
qq1123703939的博客
09-05 769
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。 本文链接：https://blog.csdn.net/lilyth_lilyth/article/details/8973972 ———————————————— 版权声明：本文为优快云博主「玉心sober」的原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接及本声明...
[Machine Learning]随机梯度下降（Stochastic gradient descent）和 批量梯度下降（Batch gradient descent ）的对比
beijingbuaaer的博客
09-15 480
[Machine Learning]随机梯度下降（Stochastic gradient descent）和 批量梯度下降（Batch gradient descent ）的对比
2016-J神-Mini-Batch Semi-Stochastic Gradient Descent in the Proxi
08-03
本文的标题为"2016-J神-Mini-Batch Semi-Stochastic Gradient Descent in the Proxi"，这是一项研究工作，其中"Mini-Batch Semi-Stochastic Gradient Descent"（简称mS2GD）是主要讨论的主题，而"Proximal Setting...
小批量随机梯度下降(Mini-batch Stochastic Gradient Descent)
weixin_55196798的博客
11-13 4088
对于深度学习模型而言，人们所说的“随机梯度下降, SGD”，其实就是基于小批量（mini-batch）的随机梯度下降。 小批量随机梯度是在梯度下降的基础上带有随机性 在我们的全部样本中随机选取b个样本，把这些样本组成一个新样本，用于我们的梯度下降。 步骤： 时刻1时随机的取一个 w ； 持续时间到模型收敛（发现目标函数在每个样本平均的损失不再下降；或者是其他的指标基本上趋向平衡）： 在每一步里，在所有的样本中随机采样1个 l 出来，I 的大小是...
机器学习-随机梯度下降（Stochastic gradient descent）和 批量梯度下降（Batch gradient
08-03
**机器学习中的优化算法：随机梯度下降（Stochastic Gradient Descent, SGD）与批量梯度下降（Batch Gradient Descent, GD）** 在机器学习领域，优化算法是寻找模型参数的关键，而梯度下降法是其中最常用的优化策略...
Batch Gradient Descent、Stochastic Gradient Descent、Mini-batch Gradient Descent
JUST CODE IT
07-11 301
梯度下降（Gradient Descent）又称最速下降，是迭代法的一种，可以用于求解最小二乘法(线性和非线性都可以)。在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一。在求解损失函数的最小值时，可以通过梯度下降法来一步步的迭代求解，得到最小化的损失函数和模型参数值。 在这里简单说一下三种梯度下降 Batch Gradient ...
10、Batch梯度下降
weixin_44986037的博客
04-11 730
梯度下降
批量梯度下降（Batch Gradient Descent）--------（含有具体数据示例）
m0_51200050的博客
06-30 1522
批量梯度下降在每次参数更新时使用整个训练数据集来计算梯度，保证了梯度估计的准确性和参数更新的稳定性。通过具体数据的举例说明，可以清楚地看到梯度下降优化如何逐步逼近最优解。在实际应用中，选择合适的学习率和迭代次数，可以有效地优化模型参数，使模型达到最佳性能。
批梯度下降法(Batch Gradient Descent )，小批梯度下降 (Mini-Batch GD)，随机梯度下降 (Stochastic GD)
厚积薄发的博客
08-14 4075
Batch 的选择，首先决定的是下降的方向。随机梯度下降是通过每个样本来迭代更新一次，如果样本量很大的情况（例如几十万），那么可能只用其中几万条或者几千条的样本，就已经将theta迭代到最优解了，对比上面的批量梯度下降，迭代一次需要用到十几万训练样本，一次迭代不可能最优，如果迭代10次的话就需要遍历训练样本10次。（2）随机梯度下降—最小化每条样本的损失函数，虽然不是每次迭代得到的损失函数都向着全局最优方向， 但是大的整体的方向是向全局最优解的，最终的结果往往是在全局最优解附近。
【机器学习】'Stochastic' Gradient Descent随机梯度下降
dodobibibi的博客
04-18 846
随机梯度下降：指的是每下降一步，使用一条训练集来计算梯度值 # -*- coding:utf-8 -*- # @Time:4/18/19 9:35 PM # @Author:CIGA # @Filename:03_stochastic_gradient_descent.py # @Software:PyCharm """ 随机梯度下降stochastic_gradient_descent 随机梯度...
学习卡片-随机梯度下降
chazhongxinbitc的博客
04-11 1842
什么是Stochastic gradient descent 随机梯度下降（Stochastic gradient descent）是一种为机器学习算法寻找最优参数配置的方法。 它是一种迭代的方法，对机器学习网络参数进行小的调整，以减少网络的错误。 误差函数（Error Function）很少像典型的抛物线那样简单。 大多数情况下，它们有很多波峰和波谷。随机梯度下降的目标是找到全局的最小值。 怎么运行 随机梯度下降通过在每个训练点之后调整网络的参数来试图找到全局最小值。该方..
梯度下降法（Gradient Descent）
weixin_52459277的博客
11-03 271
机器学习——梯度下降
Stochastic Gradient Descent ( 随机梯度下降 )
striving
04-02 8929
Stochastic Gradient Descent (SGD) ( 随机梯度下降（ SGD ） ) 是一种简单但非常有效的方法，用于在诸如（线性）支持向量机和 逻辑回归 之类的凸损失函数下的线性分类器的辨别学习。即使 SGD 已经在机器学习社区中长期存在，但最近在大规模学习的背景下已经受到了相当多的关注。SGD 已成功应用于文本分类和自然语言处理中经常遇到的大规模和稀疏机器学习问题。SGD 已...
Batch Gradient Descent
Boiler UP!
11-30 752
Batch Gradient Descent We use linear regression as example to explain this optimization algorithm. 1. Formula1.1. Cost Function We prefer residual sum of squared to evaluate linear regression. J(θ)
adopt mini-batch stochastic gradient descent
最新发布
09-27
小批量随机梯度下降（Mini - Batch Stochastic Gradient Descent，简称 Mini - Batch SGD）是一种结合了批量梯度下降（Batch Gradient Descent）和随机梯度下降（Stochastic Gradient Descent）优点的优化算法。以下是采用小批量随机梯度下降的一般步骤和代码示例： ### 步骤 1. **数据准备**：将数据集划分为多个小批量（Mini - Batch），每个小批量包含固定数量的样本。 2. **初始化参数**：为模型的参数（如权重和偏置）随机初始化初始值。 3. **迭代更新**：在每个迭代中，选择一个小批量的数据，计算该小批量数据上的梯度，然后使用梯度更新模型的参数。 4. **重复步骤3**：直到满足停止条件，如达到最大迭代次数或损失函数收敛。 ### 代码示例 以下是使用Python和PyTorch库实现小批量随机梯度下降的示例代码： ```python import torch import torch.nn as nn import torch.optim as optim # 定义一个简单的线性模型 class SimpleModel(nn.Module): def __init__(self): super(SimpleModel, self).__init__() self.linear = nn.Linear(10, 1) # 输入维度为10，输出维度为1 def forward(self, x): return self.linear(x) # 生成一些示例数据 num_samples = 1000 input_dim = 10 x = torch.randn(num_samples, input_dim) y = torch.randn(num_samples, 1) # 初始化模型 model = SimpleModel() # 定义损失函数和优化器 criterion = nn.MSELoss() optimizer = optim.SGD(model.parameters(), lr=0.01) # 定义小批量大小 batch_size = 32 num_batches = num_samples // batch_size # 训练模型 num_epochs = 10 for epoch in range(num_epochs): for i in range(num_batches): # 获取当前小批量的数据 start_idx = i * batch_size end_idx = start_idx + batch_size batch_x = x[start_idx:end_idx] batch_y = y[start_idx:end_idx] # 前向传播 outputs = model(batch_x) loss = criterion(outputs, batch_y) # 反向传播和优化 optimizer.zero_grad() loss.backward() optimizer.step() print(f'Epoch [{epoch+1}/{num_epochs}], Loss: {loss.item():.4f}') ``` ### 相关问题
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值