梯度下降总结(BGD ,SGD, MBGD)

最新推荐文章于 2024-06-05 23:13:11 发布
原创 最新推荐文章于 2024-06-05 23:13:11 发布 · 643 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习 #梯度下降 #优化算法

本文介绍了梯度下降法的三种形式：批梯度下降（BGD）、随机梯度下降（SGD）和小批量随机梯度下降（MBGD）。在机器学习中，梯度下降用于优化损失函数，寻找参数的最小值。BGD每次迭代遍历所有样本，计算量大；SGD每次仅用一个样本，计算快但可能陷入局部最优；MBGD则平衡了计算量和准确性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1. 从梯度下降开始

这两天学习了机器学习课程的第二课，课程内容是围绕梯度下降展开的，下面就我的学习内容做一个总结。

  • 什么是梯度下降？

梯度下降 (Gradient Decent) 是优化算法的一种，其思想是让损失函数沿着梯度的方向下降， 以最快的速度取到最小值。为啥是沿梯度的方向？因为梯度 (gradient) 就是函数变化最快的方向，贴一个梯度的定义: 梯度-维基百科，想深入了解的同学可以自取。

2. 批梯度下降 (Batch Gradient Decent)

批梯度下降是梯度下降最基本的形式，下面尝试在Linear Regression算法中使用批梯度下降来优化他的损失函数。

作为新手，在理解算法的时候，很多时候难住我们的不是逻辑，而是各种千奇百怪的符号，所以我先把公式中需要用到的符号列在这里，以消除符号的干扰。

符号解释:

  • h ( x ) h(x) h(x) 学习算法的假设函数，本例中的学习算法是Linear Regression
  • x i x_{i} xi​ 数据集的第 i 个特征
  • θ i \theta_{i} θi​ 假设函数对第 i 个特征的系数
  • n n n 数据集的特征数
  • m m m 数据集的样本数目
  • ( x ( i ) , y ( i ) ) (x^{(i)},y^{(i)}) (x(i),y(i)) 第 i 条训练样本

图片可能更加直观，请原谅我拙劣的画技，原始图片取自课程课件：
在这里插入图片描述

Linear Regression 的假设函数为:
h ( x ) = ∑ i = 0 n θ i x i h(x) = \sum_{i=0}^{n}{\theta_{i}x_{i}} h(x)=i=0∑n​θi​xi​
其损失函数:
J ( θ ) = 1 2 ∑ i = 1 m ( h θ ( x ( i ) ) − y ( i ) ) 2 J(\theta)=\frac{1}{2} \sum_{i=1}^{m}{(h_{\theta} (x^{(i)}) - y^{(i)}) ^ 2} J(θ)=21​i=1∑m​(hθ​(x(i))−y(i))2
在给定训练集的情况下， ( x , y ) (x, y) (x,y) 均已知，损失函数只与 θ \theta θ有关，记为 J ( θ ) J(\theta) J(θ) ， 前面的系数 1 2 \frac{1}{2} 2

最低0.47元/天 解锁文章

200万优质内容无限畅学
[Math] 常见的几种最优化方法
weixin_34162695的博客
08-23 6439
　　我们每个人都会在我们的生活或者工作中遇到各种各样的最优化问题，比如每个企业和个人都要考虑的一个问题“在一定成本下，如何使利润最大化”等。最优化方法是一种数学方法，它是研究在给定约束之下如何寻求某些因素(的量)，以使某一(或某些)指标达到最优的一些学科的总称。随着学习的深入，博主越来越发现最优化方法的重要性，学习和工作中遇到的大多问题都可以建模成一种最优化模型进行求解，比如我们现在学习的机器学习...
详解批量梯度下降法（BGD）、随机梯度下降法（SGD）和小批量梯度下降法（MBGD）
Serendi_patty的博客
05-19 1万+
阅读目录批量梯度下降法BGD随机梯度下降法SGD小批量梯度下降法MBGD总结 批量梯度下降法BGD 随机梯度下降法SGD 小批量梯度下降法MBGD 总结 在应用机器学习算法时，我们常采用梯度下降法来对才用的算法进行训练。梯度下降法有三种不同的形式：批量梯度下降（Batch Gradient Descent）、随机梯度下降（Stochastic Gradient Descent）以及小批量梯度下降（Mini-Batch Gradient Descent）。接下来，我们将对这三种不同的梯度下降法进行理解。 梯度
批量梯度下降（BGD）、随机梯度下降（SGD）、小批量随机梯度下降（MSGD）的理解与实现
BigFish_yukang的专栏
12-27 2430
最近在学习提高MMD算法，其中算法中有一些细节的知识，是关于mini-batch中基于四元组实现MMD损失的计算，于是就仔细地学习了下，批量梯度下降，随机梯度下降，小批量随机梯度下降的区别和比较，参考网上一些大神的博客，自己总结了一下。 BGD是最开始采取的方法，是指每一次反向传播中都将全部的样本进行处理计算梯度，更新权重。缺点是这样的方法造成处理数据量大，收敛慢；另外在数据量很大的时候，内存的
梯度下降法的三种解释（BGD,SGD,MBGD).
kevin_123c的博客
07-11 1万+
机器学习里面，梯度下降法可以说是随处可见，虽然它不是什么高大上的机器学习算法，但是它却是用来解决机器学习算法的良药。我们经常会用到梯度下降法来对机器学习算法进行训练。    在很多介绍梯度下降的书籍里，我们看到这样的几个英文单词缩写，BGD，SGD，MBGD。也就是批量梯度下降法BGD，随机梯度下降法SGD，小批量梯度下降法MBGD。    哦儿啦，举例说明，一般一个线性回归函数的假设函数可以
SGD、Momentum、RMSprop、Adam区别与联系
大雄的专栏
01-22 1万+
转载地址：https://zhuanlan.zhihu.com/p/32488889优化算法框架：计算目标函数关于当前参数的梯度： 根据历史梯度计算一阶动量和二阶动量： 计算当前时刻的下降梯度： 根据下降梯度进行更新： 最核心的区别就是第三步所执行的下降方向，在这个式子中，前半部分是实际的学习率（也即下降步长），后半部分是实际的下降方向。不同优化算法也就是不断地在这两部分上做文章。最朴素的优
利用梯度下降(BGD、SGD、MBGD)求解线性回归参数总结
Backcanhave7
01-02 1615
说明：本文示例所使用的数据集gongyeyuan.xlsx来源于链家网，里面含有5306条苏州市工业园区内二手房的售价与其面积信息。另：本文使用的工具主要是Python3+Jupyter Notebook。 本文的主要内容是利用三种不同的梯度下降法求解已建立的线性回归模型中的参数，并据此对三种梯度下降进行一个简单的比较。 先导入要用到的各种包： %matplotlib notebook i...
梯度下降: 02. 批量梯度下降BGD，随机梯度下降SGD，小批量梯度下降MBGD
车前猛跑
06-05 1322
本文从原理上介绍了三种梯度下降的方法，相同点，异同点，优缺点。内容包含了数学公式的推导与说明。
批量梯度下降(BGD)、随机梯度下降(SGD)以及小批量梯度下降(MBGD)及 batch、epoch、iteration
weixin_50988214的博客
10-29 679
先介绍一下梯度下降：梯度下降是一种用于机器学习训练参数的一种优化方法。对损失函数进行梯度下降，“梯度”指误差梯度或误差斜率，“下降“指沿着误差斜率移动到误差较小的水平。经过多次迭代，对参数的调节，使预测值与实际值到误差较低的水平。 深度学习中更新参数有三种方法： 1、批梯度下降BGD(batch gradient decent)：遍历全部数据集算一次损失函数，计算函数对各个参数的梯度，更新梯度。 缺点：这种方法每更新一次参数都需要对全部样本计算一遍，开销大，不支持在线学习。...
优化器算法总结（BGD、SGD、MBGD、Momentum、NAG、Adagrad 未总结完）
bl128ve900的博客
07-01 1559
参考的两篇博文 (1) 优化算法总结-深度学习https://blog.youkuaiyun.com/fengzhongluoleidehua/article/details/81104051 (2)深度学习——优化器算法Optimizer详解（BGD、SGD、MBGD、Momentum、NAG、Adagrad、Adadelta、RMSprop、Adam）https://www.cnblogs....
[机器学习]：梯度下降法 BGD、SGD、MBGD
shinezzz的博客
08-28 296
[Machine Learning] 梯度下降法的三种形式BGD、SGD以及MBGD，这篇博客讲的很好。 在应用机器学习算法时，通常采用梯度下降法来对采用的算法进行训练。其实，常用的梯度下降法还具体包含有三种不同的形式，它们也各自有着不同的优缺点。 批量梯度下降法BGD 批量梯度下降法（Batch Gradient Descent，简称BGD）是梯度下降法最原始的形式，它的具体思路是在更新每一参...
Deep Learning 最优化方法之Momentum（动量）
热门推荐
BVL的博客
05-21 7万+
本文是Deep Learning 之 最优化方法系列文章的Momentum（动量）方法。主要参考Deep Learning 一书。先上结论： 1.动量方法主要是为了解决Hessian矩阵病态条件问题（直观上讲就是梯度高度敏感于参数空间的某些方向）的。 2.加速学习 3.一般将参数设为0.5,0.9，或者0.99，分别表示最大速度2倍，10倍，100倍于SGD的算法。
梯度下降法(BGD,SGD,MSGD)python+numpy具体实现
PJZero
05-01 2万+
梯度下降是一阶迭代优化算法。为了使用梯度下降找到函数的局部最小值，一个步骤与当前位置的函数的梯度（或近似梯度）的负值成正比。如果相反，一个步骤与梯度的正数成比例，则接近该函数的局部最大值;该程序随后被称为梯度上升。梯度下降也被称为最陡峭的下降，或最快下降的方法。（from wikipad)首先，大家要明白它的本质：这是一个优化算法！！！它是可以用来解决很多问题的，一般学习机器学习的朋友都会在线性回归
机器学习_梯度下降法（BGD、SGD、MBGD）
weixin_43916755的博客
10-20 1515
除了最小二乘法求解损失函数之外，梯度下降法是另一种求解损失函数的方法。 梯度下降的直观理解，先用一个例子说明： 假设找凸函数y=x**2的最小值，通过迭代的方式，假设x=2时，y=4，x=0.8时，y=0.64，，，总之每一步迭代，都是Y都是一个下降的过程。直到f(x)<1e-10位置，如下图所示，整个求解过程是一个下降的过程。（蓝色点为迭代过程中的点） 那么问题来了，x如何取值让y不断变...
神经网络各种优化算法
luoyehuixuanaaaa的博客
03-11 3479
https://www.cnblogs.com/guoyaohua/p/8542554.html 梯度下降法是最流行的优化算法之一，并且目前为止是优化神经网络常见的算法。梯度下降是一种通过在目标函数梯度的反向上更新模型参数，来最小化模型参数的目标函数的方法。学习率决定了我们前往（局部）极小值的步长。 梯度下降算法变种，它们不同之处在于我们在计算目标函数梯度时所用数据量的多少。依据数据的规模，我们...
Opencv 关于Grabcut算法
boss-dog
11-25 818
一.Grabcut原理的讲解 附上大佬的讲解，个人觉得不错 https://www.cnblogs.com/zyly/p/9392881.html https://blog.youkuaiyun.com/zouxy09/article/details/8534954 二.GrabCut算法的实现步骤 1.在图片中定义(一个或者多个)包含物体的矩形。 2.矩形外的区域被自动认为是背景。 3.对于用户定义的矩形区...
SGD,BGD,MBGD
最新发布
03-10
### 随机梯度下降、批量梯度下降与小批量梯度下降的比较及其应用 在机器学习领域，优化算法的选择对于模型性能至关重要。三种常见的梯度下降变体——随机梯度下降（Stochastic Gradient Descent, SGD）、批量梯度下降（Batch Gradient Descent, BGD）以及小批量梯度下降（Mini-Batch Gradient Descent, MBGD），各自具有不同的特点和适用场景。 #### 批量梯度下降 (BGD) 批量梯度下降利用整个数据集来执行一次权重更新操作。这种方法能够提供最稳定的收敛路径，但由于每一步都需要遍历全部样本，计算开销极大，尤其是在处理大规模数据集时效率低下[^2]。 ```python def batch_gradient_descent(X, y, theta, alpha=0.01, iterations=1000): m = len(y) for iteration in range(iterations): gradients = 2/m * X.T.dot(X.dot(theta) - y) theta -= alpha * gradients return theta ``` #### 随机梯度下降 (SGD) 相比之下，随机梯度下降每次仅选取单一样本进行参数调整，这不仅显著降低了内存占用率，而且加快了训练速度。然而，频繁的方向变化可能导致解空间内的振荡现象更为明显，使得最终找到全局最优解的过程变得曲折。 ```python import numpy as np def stochastic_gradient_descent(X, y, theta, alpha=0.01, num_epochs=50): m = len(y) for epoch in range(num_epochs): indices = list(range(m)) np.random.shuffle(indices) for i in indices: xi = X[i:i+1] yi = y[i:i+1] gradients = 2 * xi.T.dot(xi.dot(theta) - yi) theta -= alpha * gradients return theta ``` #### 小批量梯度下降 (MBGD) 作为前两者的折衷方案，小批量梯度下降采用固定数量的小批样本集合来进行每一次迭代更新。这种方式既保留了部分随机性的优势，又能在一定程度上缓解因过度波动带来的负面影响，成为实践中最为广泛采纳的方法之一。 ```python def mini_batch_gradient_descent(X, y, theta, alpha=0.01, epochs=50, batch_size=32): m = len(y) for epoch in range(epochs): shuffled_indices = np.random.permutation(m) X_shuffled = X[shuffled_indices] y_shuffled = y[shuffled_indices] for i in range(0, m, batch_size): xi = X_shuffled[i : i + batch_size] yi = y_shuffled[i : i + batch_size] gradients = 2 / batch_size * xi.T.dot(xi.dot(theta) - yi) theta -= alpha * gradients return theta ``` 通过上述分析可以看出，在面对不同规模的数据集或者特定的应用需求时，合理选择合适的梯度下降策略可以有效提升模型的学习效果和运行效率。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值