梯度下降SGD

深度学习入门之SGD随机梯度下降法 SGD SGD为随机梯度下降法。用数学式可以将 SGD 写成如下的式(6.1)。 这里把需要更新的权重参数记为W,把损失函数关于W的梯度记为∂L/∂W 。η 表示学习率,实际上会取 0.01 或 0.001 这些事先决定好的值。式子中的←表示用右边的值更新左边的值。如式(6.1)所示,SGD 是朝着梯度方向只前进一定距离的简单方法。现在,我们将 SGD 实现为一个 Python 类(为方便后面使用,我们将其实现为一个名为 SGD 的类)。 class SGD: def __init__(self, 阅读详情

当数据过多时,无法将数据一次性加载到内存中,进行模型训练,

因此可以使用随机梯度下降回归器或分类器,作为线性预测器

该方法每次只是用一个观察点来进行参数优化,因此代码使用ridge或lasso回归到达可比较的结果之前,采用了更多的迭代,但只需要较少的内存和时间。

  • 使用SGD优化时,需要测试不同的代价函数性能,一些SGD对异常点抵抗力较强,例如分类的modfied_huer和回归的huber
  • SGD对变量尺度敏感,需要标准化特征,限制在【-1,1】或者【0,1】
  • 使用SGD时,总是需要处理数据块。为了有效训练,首先使用StandardScaler从首批可用的数据中导出平均值和方差来做标准化。整个数据集的分布情况不同,但初始估计得到的变换可以发展成一个可工作的学习步骤。

from sklearn.linear_model import SGDRegressor
from sklearn.preprocessing import StandardScaler

SGD = SGDRegressor(loss='squared_loss', penalty='l2', alpha=0.0001, l1_ratio=0.15, n_iter=2000)
#  l1_ratio=0 corresponds to L2 penalty, l1_ratio=1 to L1
# alpha constant that multiplies the regularization term. Defaults to 0.0001
scaling = StandardScaler()
scaling.fit(polyX)
scaled_X = scaling.transform(polyX)
print ('CV MSE: %.3f' % abs(np.mean(cross_val_score(SGD, scaled_X, y, scoring='neg_mean_squared_error', cv=crossvalidation, n_jobs=1))))

均方差均值为13.066

对数据做迭代,展示算法如何优化参数

 

from sklearn.metrics import mean_squared_error
from sklearn.cross_validation import train_test_split

X_train, X_test, y_train, y_test = train_test_split(scaled_X, y, test_size=0.20, random_state=2)

SGD = SGDRegressor(loss='squared_loss', penalty='l2', alpha=0.0001, l1_ratio=0.15)
improvements = list()
for z in range(1000):
    SGD.partial_fit(X_train, y_train)
    improvements.append(mean_squared_error(y_test, SGD.predict(X_test)))

#作图
import matplotlib.pyplot as plt
plt.subplot(1,2,1) 
plt.plot(range(1,11),np.abs(improvements[:10]),'o--')
plt.xlabel('Partial fit initial iterations')
plt.ylabel('Test set mean squared error')
plt.subplot(1,2,2) 
plt.plot(range(100,1000,100),np.abs(improvements[100:1000:100]),'o--')
plt.xlabel('Partial fit ending iterations')
plt.show()

plt.plot(range(1,1000),improvements[1:1000])

整体的错误率是下降的。

随机梯度下降法 (SGD) SGD的基本思想是通过逐个样本或小批量样本来更新模型参数,而不是使用整个数据集。这种方法大大提高了计算效率,特别是在处理大规模数据集时。 阅读详情

相关推荐

随机梯度下降法 SGD

1. 梯度下降 batch_size = 1: SGD batch_size = n: mini-batch batch_size = 全部训练集大小:batch SGD 对比: (1)batch SGD: 噪声小, 幅度大一些; (2)mini-batch SGD: 效率高, 收敛快; 我们实际在pytorch等框架使用的SGD,只要指定的batch size不等于 1, 就是 mini-batch SGD。 (3)SGD:大部分时候向着全局最小值靠近, 但是有时候会远离最小值,SGD会有很多的噪声。 S

rosefun96的博客 1万+

SGD简介

给你一个xyxyxy坐标系,上面有一些点,给你过原点的一条直线ywxy=wxywx,如何用最快的方法来拟合这些点?为了解决这个问题,我们要对问题定义一个目标,即让所有的点离直线的偏差最小。我们常用的误差函数为均方误差,对于一个点p1p_1p1​来说,它与直线的均方误差可以定义为e1e_1e1​e1y1−wx12wx1−y12e1​y1​−wx1​2wx1​−y1​2e1w2x1。

qq_55126913的博客 1万+

机器学习 |随机梯度下降 (SGD)

需要注意的一点是,由于 SGD 通常比典型的 Gradient Descent 噪声更大,因此由于其下降的随机性,通常需要更多的迭代次数才能达到最小值。尽管它需要比典型的 Gradient Descent 更多的迭代次数才能达到最小值,但它的计算成本仍然比典型的 Gradient Descent 低得多。这反映了 SGD 的随机性质,其中参数使用数据的子集进行更新。对学习率的敏感度:在 SGD 中,学习率的选择可能至关重要,因为使用高学习率会导致算法超过最小值,而低学习率会使算法收敛缓慢。

jianqimingtian的博客 1081

SGD(随机梯度下降)详解

BGD vs SGDBGD vs SGD名词解释功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 BGD vs SGD ...

weixin_46301248的博客 7万+

随机梯度下降算法(SGD)

何为随机梯度下降? 在scikit-learn官方文档中有着这样的定义:是一种简单但又非常高效的方法,主要用于凸损失函数下线性分类器的判别式学习,例如(线性) 支持向量机 和 Logistic 回归。 在百度百科中对梯度下降法的解释:梯度下降法(英语:Gradient descent)是一个一阶最优化算法,通常也称为最速下降法。 要使用梯度下降法找到一个函数的局部极小值,必须向函数上当前点对应梯度...

xiuxiuxiulai的博客 3239

常用梯度下降算法SGD, Momentum, RMSprop, Adam详解

摘要 本文给出常用梯度下降算法的定义公式, 并介绍其使用方法. 相关 配套代码, 请参考文章 : 纯Python和PyTorch对比实现SGD, Momentum, RMSprop, Adam梯度下降算法 系列文章索引 : https://blog.youkuaiyun.com/oBrightLamp/article/details/85067981 正文 1. SGD 随机梯度下降 (Stochastic ...

BrightLamp的博客 4172

【优化器】(一) SGD原理 & pytorch代码解析

很多情况下,我们调用优化器的时候都不清楚里面的原理和构造,主要基于自己数据集和模型的特点,然后再根据别人的经验来选择或者尝试优化器。下面分别对SGD的原理、pytorch代码进行介绍和解析。

Lizhi_Tech的博客 1万+

神经网络中的随机梯度下降(Stochastic Gradient Descent, SGD)详解

在神经网络的训练过程中,优化算法扮演着至关重要的角色。它们通过调整模型的参数(如权重和偏置),最小化损失函数,从而提升模型的性能。随机梯度下降(Stochastic Gradient Descent, SGD)是其中最基础且广泛使用的优化算法之一。

不积跬步,无以至千里;不积小流,无以成江海。 1834

随机梯度下降SGD算法理解

随机梯度下降算法(Stochastic gradient descent,SGD)在神经网络模型训练中,是一种很常见的优化算法。这种算法是基于梯度下降算法产生的,所以要理解随机梯度下降算法,必须要对梯度下降算法有一个全面的理解。 梯度下降: 这个算法我在之前的博文Logistic Regression的数学推导过程以及Python实现 中有详细的说明介绍,这里我们再来简单回顾一下梯度下降算法:假设...

深圳湾刘能的博客 2万+

梯度下降的SGD是怎么做的?

首先明确待优化的模型(如线性回归、神经网络)和对应的损失函数。以线性回归模型预测值:\(\hat{y}_i = w \cdot x_i + b\)(w为权重,b为偏置,\(x_i\)为第i个样本的特征)损失函数(均方误差):\(L(w, b) = \frac{1}{2}(y_i - \hat{y}_i)^2\)(\(y_i\)为第i个样本的真实标签)SGD 的核心是 “随机单样本估计梯度,高效迭代更新参数”,它通过牺牲单次梯度的准确性换取了训练效率的大幅提升,是大规模机器学习的基石。

mayaohao的博客 944

机器学习:SGD随机梯度下降法

1.梯度下降 1)什么是梯度下降? 因为梯度下降是一种思想,没有严格的定义,所以用一个比喻来解释什么是梯度下降。 简单来说,梯度下降就是从山顶找一条最短的路走到山脚最低的地方。但是因为选择方向的原因,我们找到的的最低点可能不是真正的最低点。如图所示,黑线标注的路线所指的方向并不是真正的地方。 既然是选择一个方向下山,那么这个方向怎么选?每次该怎么走? 先说选方向,在算法中是以随机方式给出的,这也是造成有时候走...

1701

随机梯度下降法(stochastic gradient descent,SGD)

梯度下降法 大多数机器学习或者深度学习算法都涉及某种形式的优化。 优化指的是改变特征x以最小化或最大化某个函数 f(x) 的任务。 我们通常以最小化 f(x)指代大多数最优化问题。 最大化可经由最小化算法最小化 ​​​​​​​-f(x)来实现。 我们把要最小化或最大化的函数称为目标函数或准则。 当我们对其进行最小化时,我们也把它称为损失函数或误差函数。 下面,我们假设一个损失函数为 ,其中 然后要使得最小化它。 梯度下降:梯度的方向是函数在给定点上升最快的方向,那么梯度的反方向就是函数在给...

qq_58146842的博客 8万+

【Audio】基于STM32 I2S移植WM8978 Audio Codec驱动

1. WM8978简介 WM8978是一款低功耗,高质量的立体声编解码器,专为便携式应用,如数码相机或数码摄像机等。 该芯片集成了立体声差分麦克风的前置放大器,并包括扬声器、耳机和差分或立体声线输出的驱动器。外部组件要求减少,因为不需要单独的麦克风或耳机放大器。 WM8978的功能框图如下所示: 2. WM8978硬件连接 使用STM32F429+WM8978硬件平台,通过I2S接口来读写音频数据,I2C接口发送写命令控制WM8978相关功能。 STM32F429与WM8978的引脚连接如下:

ZHONGCAI0901的博客 1万+

随机梯度下降SGD(理论、公式、代码)

随机梯度下降(SGD)是一种用于优化机器学习模型的非常流行的算法。它特别适用于大规模数据集,因为它在每次迭代中仅使用一小部分数据。这使得SGD比批量梯度下降(使用整个数据集的梯度下降)更快、更高效。接下来,我将从理论、公式和代码示例这三个方面来介绍SGD优化器。

m0_48923489的博客 1万+

CTS实战:如何用set_sense优化时钟树平衡(附ICC2避坑指南)

本文深入探讨了在时钟树综合(CTS)中,如何正确使用`set_sense`命令优化时钟树平衡,并对比了其与`set_disable_timing`的本质区别。通过实战案例详细解析了`-stop_propagation`和`-clock_leaf`参数的应用场景,并提供了ICC2工具中的关键避坑指南,帮助后端工程师精准控制时钟拓扑,避免时序分析漏洞。

weixin_28933797的博客 460

别再被SpringerLink虐了!手把手教你搞定LaTeX源文件提交(附正确文件顺序和类型选择)

本文详细解析了SpringerLink投稿系统中LaTeX源文件提交的常见问题与解决方案,包括文件打包、类型选择和顺序排列等关键步骤。通过实战经验,帮助科研人员避开隐形陷阱,一次性完成LaTeX提交,提升投稿效率。特别针对`.bst`和`.cls`文件的正确处理提供了专业指导。

weixin_42522964的博客 445

随机梯度下降(SGD)

关于什么是梯度下降,请看我之前发的一个博文:http://blog.youkuaiyun.com/lilyth_lilyth/article/details/8973972 梯度下降能帮助我们找到局部最优值,取得很小的损失,但是在数据量达到数十万时,迭代次数高,运算速度慢,十分不适合。这时候可以考虑使用随机梯度下降算法。 所谓随机梯度下降是   每次用 每个样本的损失函数(即样本数为1时的损失函数)对th

Duplan的专栏 1万+

Ansys Lumerical 2023 R1.2新功能实战:薄膜铌酸锂调制器仿真全流程解析

本文详细解析了Ansys Lumerical 2023 R1.2在薄膜铌酸锂电光相位调制器仿真中的最新功能与应用。通过实战演示,展示了从电极配置、电场计算到模式分析的全流程,重点介绍了各向异性介电常数支持和多物理场耦合优化等关键技术,助力开发者高效设计高性能光通信器件。

weixin_28454475的博客 1217

初探梯度下降之随机梯度下降(SGD)

随机梯度下降算法 先解释一些概念。 1.什么是梯度下降 我们先从一张图来直观解释这个过程。 如上图假设这样一个场景:一个人被困在山上,需要从山上下来,但此时山上的浓雾很大,导致可视度很低。因此,下山的路径就无法确定,他必须利用自己周围的信息去找到下山的路径。这个时候,他就可以利用梯度下降算法来帮助自己下山。具体来说就是,以他当前的所处的位置为基准,寻找方向,然后朝着山的高度下降的地方...

kwame211的博客 1380

GBT 27930-2015/2023国标充电协议A类CAN报文ID说明

国标充电CAN的ID,仅供学习参考。

qqq080的博客 7823

PLSQL Developer新手必看:如何避免安装过程中的常见坑

本文为PL/SQL Developer新手提供了详尽的安装与配置避坑指南。从版本选择、注册码使用、汉化包安装到Oracle客户端连接配置,逐一解析常见问题并提供解决方案,帮助开发者快速搭建稳定的PL/SQL开发环境,顺利开启Oracle数据库编程工作。

g9h0i1的博客 654

随机梯度下降算法SGD

随机梯度下降算法SGD 参考:为什么说随机最速下降法 (SGD) 是一个很好的方法? 假如我们要优化一个函数f(x)f(x)f(x) ,即找到它的最小值,常用的方法叫做 Gradient Descent (GD),也就是最速下降法。说起来很简单, 就是每次沿着当前位置的导数方向走一小步,走啊走啊就能够走到一个好地方了。 如上图, 就像你下山一样,每一步你都挑最陡的路走,如果最后你没摔死的话,一般你很快就能够走到山脚。用数学表示一下,就是 xt+1=xt−ηt∇f(xt)x_{t+1}=x_t-\eta_t

weixin_37958272的博客 2001

Python+Flask+Echarts打造全国气象数据可视化分析大屏

本文详细介绍了如何使用Python+Flask+Echarts构建全国气象数据可视化分析大屏,实现实时监控、趋势分析和快速决策。通过Python强大的数据处理能力、Flask的轻量级优势和Echarts的交互体验,打造高效的气象数据可视化系统,提升农业、物流等行业的决策效率。

weixin_29061531的博客 1061

SGD 为什么叫“随机”梯度下降?深入剖析其真正含义!【代码实战】

在实际应用中,SGD 的随机性不仅加快了训练速度,还能帮助模型跳出局部最优,使其成为深度学习优化的核心方法之一。:当数据集很大时,每次计算完整梯度的成本很高,训练速度非常慢,尤其是在深度学习任务中。你会发现,由于 SGD 每次更新都基于随机样本,最终拟合出的参数会有细微差异,这就是。这篇博客将深入剖析这个问题,并解释 SGD 相对于传统梯度下降方法的核心区别。由于 SGD 仅基于单个样本进行更新,因此梯度的方向会有较大的。,从而显著降低计算开销,提高训练速度。,避免数据的固定顺序影响模型的收敛。

qq_22841387的博客 1885

93.华为路由器:IPSec加密GRE通道(GRE over IPsec)

IPSec加密GRE通道 由于GRE隧道不提供安全性保障,使用ipsec加密gre隧道是现网中比较常用的VPN部署,它的加密方式分为两种: 可以使用IPsec来加密隧道进行传输,叫做IPsec over GRE; 加密数据流后从隧道传输,称为GRE over IPsec。 下面将配置一个简单的IPsec over GRE实验。 一、搭建模拟环境 首先我们先搭建环境,先根据拓扑图把基本的IP地址配好,然后分别在AR1、AR3加两条静态路由,使得两个公网互通。 [AR1]in g0/0/0 [AR

迷逝 1万+

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

随机梯度下降之——SGD自适应学习率

随机梯度下降之——SGD自适应学习率 http://ruder.io/optimizing-gradient-descent/index.html#gradientdescentvariants An overview of gradient descent optimization algorithms Note: If you are looking for a review pap...

种花家的奋斗兔的博客 6489

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

上一篇: 正则化线性模型
下一篇: SVM-SVC分类
Arron_yuan
博客等级 码龄12年 11粉丝 24原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值