批量梯度下降(BGD)、随机梯度下降(SGD)以及小批量梯度下降(MBGD)的理解

最新推荐文章于 2025-12-31 15:46:29 发布
转载 最新推荐文章于 2025-12-31 15:46:29 发布 · 139 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：https://www.cnblogs.com/lliuye/p/9451903.html
文章标签：

#深度学习

本文深入探讨了批量梯度下降(BGD)、随机梯度下降(SGD)及小批量梯度下降(MBGD)三种梯度下降方法的概念、工作原理及其在机器学习中的应用。通过对比分析，帮助读者理解不同梯度下降方法的优缺点。

批量梯度下降(BGD)、随机梯度下降(SGD)以及小批量梯度下降(MBGD)的理解
转载：https://www.cnblogs.com/lliuye/p/9451903.html

梯度下降算法与随机梯度下降算法：实现波士顿房价问题
loist91的博客
09-03 494
import random import numpy as np k1 = random.random() k2 = random.random() k0 = random.random() a = 0.01 x = np.array([[2104, 3], [1600, 3], [2400, 3], [1416, 2], [3000, 4]]) t = np.array([[400],
批量梯度下降、随机梯度下降、小批量梯度下降
naozibuok的博客
02-15 2274
由于要处理整个训练集，批量梯度下降需要较大的内存来存储全部数据，并且计算速度相对较慢。但它的优点是可以保证收敛到全局最优解，尤其在凸优化问题上表现良好。因为每次只看一个样本，随机梯度下降的计算速度很快，但对于非凸优化问题或存在噪声较多的数据集，可能会收敛到局部最优解而不是全局最优解。此外，由于随机性的存在，它可以帮助跳出局部最优解。小批量梯度下降综合了批量梯度下降的稳定性和随机梯度下降的计算效率，通常在实际应用中被广泛采用。小批量梯度下降是介于批量梯度下降和随机梯度下降之间的一种方法。
深度学习（十七）：全批量梯度下降 (BGD)、随机梯度下降 (SGD) 和小批量梯度下降 (MBGD)
www_dong的博客
10-06 727
特性全批量梯度下降 (BGD)随机梯度下降 (SGD)小批量梯度下降 (MBGD)数据量/次更新整个数据集 N1 个样本B 个样本 (1<B<N)更新频率/Epoch1 次N 次N/B 次梯度方差/噪声最低(真实梯度)最高(随机噪声)中等收敛路径平稳，单调下降剧烈震荡，最终在最小值附近徘徊平稳且快速，有轻微震荡收敛速度 (迭代次数)慢（迭代次数少，但单次耗时长）快（更新频繁）最快（平衡了效率和更新频率）计算效率低（单次计算成本高）低（无法并行计算）高（可高度并行化）内存/显存高。
梯度下降概念图解——BGD批量梯度下降、SGD随机梯度下降、MBGD小批量梯度下降
Yaki_Duck的博客
08-07 705
求所有点误差的平均值：（其中x,y和样本数n都是已知数，用常量a,b.c分别代替）对于这个图来说：点p1的均方误差e1就为：e1=(y1-w*x1)^2。表示了学习所需要付出的代价，该函数也是样本点拟合过程的映射（如下图）。拓展到计算每一个点就可以算出无数的e1,e2,e2…SGD随机梯度下降，每下降一步只需要用一个样本进行计算。loss function: 得出的误差函数。BGD批量梯度下降是梯度下降最原始的方式，）重复直至找到最低点。
机器学习_梯度下降法（BGD、SGD、MBGD）
weixin_43916755的博客
10-20 1555
除了最小二乘法求解损失函数之外，梯度下降法是另一种求解损失函数的方法。 梯度下降的直观理解，先用一个例子说明： 假设找凸函数y=x**2的最小值，通过迭代的方式，假设x=2时，y=4，x=0.8时，y=0.64，，，总之每一步迭代，都是Y都是一个下降的过程。直到f(x)<1e-10位置，如下图所示，整个求解过程是一个下降的过程。（蓝色点为迭代过程中的点） 那么问题来了，x如何取值让y不断变...
批量梯度下降(BGD）、小批量梯度下降（MBGD）和随机梯度下降（SGD)的基本解释，以及优缺点
qlkaicx的博客
02-27 1791
三种梯度下降方法的区别和优缺点
梯度下降: 02. 批量梯度下降BGD，随机梯度下降SGD，小批量梯度下降MBGD
车前猛跑
06-05 1412
本文从原理上介绍了三种梯度下降的方法，相同点，异同点，优缺点。内容包含了数学公式的推导与说明。
批量梯度下降（BGD）、随机梯度下降（SGD）和小批量梯度下降（MBGD）的性能差异
xyzroundo的专栏
08-16 613
本文通过三个案例对比了批量梯度下降（BGD）、随机梯度下降（SGD）和小批量梯度下降（MBGD）的性能差异。在小型数据集中，MBGD在速度和稳定性上表现最优；中型数据集中，MBGD避免了BGD的内存溢出问题且训练效率比SGD快3.5倍；大型分布式训练中，MBGD通过批量分割和梯度聚合实现了17倍加速。分析表明，BGD适合小数据精确求解，SGD适用于在线学习，而MBGD在大数据场景下能平衡计算效率和收敛稳定性。建议根据数据规模选择算法，并通过调整批量大小和学习率优化性能。三种算法的本质是梯度估计方差与计算效率
批量梯度下降BGD、随机梯度下降SGD、小批量梯度下降MBGD，对比表格
weixin_50132289的博客
04-16 916
批量梯度下降、随机梯度下降、小批量梯度下降，整理为对比表格，作为复习笔记。
梯度下降算法_批量梯度下降(BGD)、随机梯度下降(SGD)、小批量梯度下降(MBGD)
weixin_39945789的博客
11-18 905
梯度下降法作为机器学习中较常使用的优化算法，其有着3种不同的形式：批量梯度下降（Batch Gradient Descent）、随机梯度下降（Stochastic Gradient Descent）、小批量梯度下降（Mini-Batch Gradient Descent）。其中小批量梯度下降法也常用在深度学习中进行模型的训练。接下来，我们将对这3种不同的梯度下降法进行理解。1. 批量梯度下降(Ba...
批量梯度下降(BGD)、随机梯度下降(SGD)以及小批量梯度下降(MBGD)及 batch、epoch、iteration
weixin_50988214的博客
10-29 742
先介绍一下梯度下降：梯度下降是一种用于机器学习训练参数的一种优化方法。对损失函数进行梯度下降，“梯度”指误差梯度或误差斜率，“下降“指沿着误差斜率移动到误差较小的水平。经过多次迭代，对参数的调节，使预测值与实际值到误差较低的水平。 深度学习中更新参数有三种方法： 1、批梯度下降BGD(batch gradient decent)：遍历全部数据集算一次损失函数，计算函数对各个参数的梯度，更新梯度。 缺点：这种方法每更新一次参数都需要对全部样本计算一遍，开销大，不支持在线学习。...
绘制三种梯度下降法批量梯度下降（BGD）、随机梯度下降（SGD）、小批量梯度下降（MBGD）的收敛曲线
09-24
- 对于MBGD（小批量梯度下降）：每次迭代使用一个小批量（batch）的样本，每次迭代计算该小批量上的损失。同样，为了观察整体收敛，通常会在每个epoch结束后或每隔一定迭代次数在完整训练集上计算一次损失。 因此...
梯度下降算法实现——基于矩阵的python手写（批量梯度下降、随机梯度下降、小批量梯度下降）
csdn_cc_try
10-19 5571
批量梯度下降、随机梯度下降、小批量梯度下降的python实现 之前写线性回归那一块内容的时候，发过手写二元线性回归梯度下降的博，由于基于方程的写法过于复杂，于是有了这一篇基于矩阵的梯度下降实现~
Day44 简单 CNN 实战
W020419的博客
12-26 345
将卷积输出展平成向量，接 1~2 层全连接 + Dropout，输出 10 维 logits。：BatchNorm 稳定分布、Dropout 降低 co-adaptation。这些中间输出就是“特征图”，可借助 Grad-CAM 等方法做可视化解释。第 3 个卷积块：池化后得到 128×4×4，展平即 2048 维向量。第 1 个卷积块：保持尺寸，池化后得到 32×16×16；第 2 个卷积块：池化后得到 64×8×8；提取多尺度特征并逐步减小空间维度。
【深度学习新浪潮】本地文档总结引擎部署全攻略（二）：增量更新、自定义模板与实战汇报生成
最新发布
12-31 134
基础系统的总结格式由固定，无法满足不同汇报场景（如周汇报、月汇报、项目总结）的需求。通过自定义Prompt模板，我们可以定义灵活的输出格式，支持模板变量（如文档名称、时间范围、汇报人）。在from llama_index . core . prompts import PromptTemplate from llama_index . core . query_engine import CustomQueryEngine # 定义常用汇报模板 REPORT_TEMPLATES = {
深度学习—卷积神经网络（2）
renjt01的博客
12-30 115
深度学习—卷积神经网络（2） 2.DNN与CNN的区别 3.卷积的数学定义 4.CNN的结构组成 卷积层 #人工智能#具身智能#VLA#大模型#AI#LLM#Transformer 架构#AI技术前沿#Agent大模型#工信部证书#人工智能证书#职业证书
毕业项目推荐：91-基于yolov8/yolov5/yolo11的井盖破损检测识别（Python+卷积神经网络）
weixin_71667732的博客
12-29 774
项目中所用到的算法模型和数据集等信息如下：算法模型：yolov8yolov8 + SE注意力机制或yolov5yolov5 + SE注意力机制或yolo11yolo11 + SE注意力机制数据集：网上下载的数据集，格式都已转好，可直接使用。以上是本套代码算法的简单说明，添加注意力机制是本套系统的创新点。全新SOTA模型YOLOv8 提供了全新的最先进（SOTA）的模型，包括P5 640和P6 1280分辨率的目标检测网络，同时还推出了基于YOLACT的实例分割模型。
InternNav 环境配置：Failed to build flash_attn解决办法
m0_75108877的博客
12-30 133
install Internnav 的时候一直报flash_attn的错。
深度学习中的“通道指挥官”：Squeeze-and-Excitation (SE) Block 详解
rmysjm的博客
12-29 866
摘要：SE-Block是一种创新的通道注意力机制，通过Squeeze-Excitation操作自动学习特征通道的重要性权重。其核心包括全局平均池化获取通道信息、全连接层学习通道间关系，最后对特征通道进行加权。该方法以极小的计算开销（仅增加0.26%参数量）显著提升模型性能，如SE-ResNet50在ImageNet上的Top-1错误率降低1.5%。SE-Block证明了注意力机制在特征筛选中的有效性，可灵活嵌入各类网络结构中，为计算机视觉任务提供高效优化方案。
批量梯度下降，随机梯度下降，小批量梯度下降
12-09
### 批量梯度下降（BGD） - **原理**：批量梯度下降在每一次迭代时，使用整个训练数据集来计算梯度，然后更新模型参数。其目标是最小化损失函数，通过沿着损失函数的负梯度方向更新参数，使得损失函数的值逐渐减小。假设损失函数为 $J(\theta)$，参数为 $\theta$，学习率为 $\alpha$，则参数更新公式为 $\theta = \theta - \alpha \nabla J(\theta)$，其中 $\nabla J(\theta)$ 是基于整个训练集计算得到的梯度。 - **特点**： - 收敛稳定，因为每次更新参数都是基于整个训练集的信息，所以能朝着全局最优解的方向稳定下降。 - 计算开销大，当训练数据集非常大时，每次迭代都要处理所有样本，计算梯度的时间和内存成本都很高。 - 收敛速度可能较慢，尤其是在数据集较大时，每次迭代的计算量巨大，导致整体收敛到最优解的时间较长。 ### 随机梯度下降（SGD） - **原理**：随机梯度下降在每一次迭代时，随机选择一个样本计算梯度并更新模型参数。即每次只使用一个样本的信息来估计梯度，参数更新公式同样为 $\theta = \theta - \alpha \nabla J_i(\theta)$，其中 $J_i(\theta)$ 是第 $i$ 个样本的损失函数。 - **特点**： - 计算速度快，由于每次只处理一个样本，计算梯度的时间和内存开销都很小，适合大规模数据集。 - 收敛过程不稳定，因为每次只基于一个样本的信息更新参数，会导致参数更新的方向具有随机性，可能会在最优解附近震荡，难以精确收敛到全局最优解。 - 有可能跳出局部最优解，由于其随机性，在某些情况下能够跳出局部最优，找到更优的解。 ### 小批量梯度下降（MBGD） - **原理**：小批量梯度下降结合了批量梯度下降和随机梯度下降的优点，每次使用一个小批量（mini - batch）样本来计算梯度并更新模型参数。这个小批量通常是从训练数据中随机选择的一部分（如32个、64个或128个样本）。参数更新公式为 $\theta = \theta - \alpha \nabla J_{batch}(\theta)$，其中 $J_{batch}(\theta)$ 是小批量样本的损失函数[^1]。 - **特点**： - 计算效率较高，相比于批量梯度下降，小批量梯度下降每次处理的样本数量较少，减少了计算梯度的时间和内存开销。 - 收敛相对稳定，由于使用了多个样本的信息，比随机梯度下降更能稳定地朝着最优解方向下降，减少了震荡。 - 泛化能力较好，在实际应用中，小批量梯度下降通常能取得较好的泛化效果。 ### 区别 - **样本使用数量**：批量梯度下降使用整个训练集，随机梯度下降使用单个样本，小批量梯度下降使用小批量样本。 - **计算效率**：随机梯度下降计算速度最快，批量梯度下降计算开销最大，小批量梯度下降介于两者之间。 - **收敛稳定性**：批量梯度下降收敛最稳定，随机梯度下降收敛最不稳定，小批量梯度下降收敛稳定性较好。 - **收敛速度**：在大多数情况下，小批量梯度下降的收敛速度较快，随机梯度下降可能在前期收敛较快，但后期可能会在最优解附近震荡，批量梯度下降在数据集较大时收敛速度较慢。 以下是一个简单的Python代码示例，展示三种梯度下降的基本实现： ```python import numpy as np # 生成一些示例数据 X = np.array([[1], [2], [3], [4], [5]]) y = np.array([2, 4, 6, 8, 10]) # 初始化参数 theta = np.zeros((1, 1)) learning_rate = 0.01 epochs = 100 # 批量梯度下降 def batch_gradient_descent(X, y, theta, learning_rate, epochs): m = len(y) for _ in range(epochs): gradients = (2/m) * X.T.dot(X.dot(theta) - y.reshape(-1, 1)) theta = theta - learning_rate * gradients return theta # 随机梯度下降 def stochastic_gradient_descent(X, y, theta, learning_rate, epochs): m = len(y) for _ in range(epochs): for i in range(m): random_index = np.random.randint(m) xi = X[random_index:random_index+1] yi = y[random_index:random_index+1] gradients = 2 * xi.T.dot(xi.dot(theta) - yi.reshape(-1, 1)) theta = theta - learning_rate * gradients return theta # 小批量梯度下降 def mini_batch_gradient_descent(X, y, theta, learning_rate, epochs, batch_size=2): m = len(y) for _ in range(epochs): shuffled_indices = np.random.permutation(m) X_shuffled = X[shuffled_indices] y_shuffled = y[shuffled_indices] for i in range(0, m, batch_size): xi = X_shuffled[i:i+batch_size] yi = y_shuffled[i:i+batch_size] gradients = (2/batch_size) * xi.T.dot(xi.dot(theta) - yi.reshape(-1, 1)) theta = theta - learning_rate * gradients return theta # 调用不同的梯度下降方法 theta_bgd = batch_gradient_descent(X, y, theta, learning_rate, epochs) theta_sgd = stochastic_gradient_descent(X, y, theta, learning_rate, epochs) theta_mbgd = mini_batch_gradient_descent(X, y, theta, learning_rate, epochs) print("批量梯度下降得到的参数:", theta_bgd) print("随机梯度下降得到的参数:", theta_sgd) print("小批量梯度下降得到的参数:", theta_mbgd) ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值