关于Stochastic Gradient Descent和机器学习的优化问题

最新推荐文章于 2023-05-08 01:46:34 发布
最新推荐文章于 2023-05-08 01:46:34 发布
阅读量1.2k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 机器学习 SGD 文章标签： SGD Empirical risk Expected risk second order gradient descent
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Trasper1/article/details/84839354
本文探讨了在机器学习中模型选择和参数估计的过程，重点在于优化方法，如Mini-batch GD和Stochastic GD。对于大规模数据集，Mini-batch GD优化empirical risk，而Stochastic GD通过随机采样优化expected risk，尽管存在噪声，但有望达到与全批量GD相似的性能。文章还讨论了不同优化算法的收敛性和学习率的影响。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

给定一个问题以及相应的data (z \in Z 是一个sample pair（x，y）)，若采用机器学习的手段来解决，那么要分两步走：

1. 模型选择：即选定一族函数 F，这个大F可以是SVM，linear regression，boosting，或者nerual networks（neural network就是一个funciton approximator）等等。

2. 模型参数估计：选定了模型即选定了f_{w}(x)\in F之后, 现在要做的就是通过优化（loss Q(z,w)=l(f_{w}(w), y)）的方法解得最优的一组w，从而得到模型 f。

当training set很大时（large scale training），每次优化的update都average （the loss & gradient）over all z in Z太耗时耗资源，因此，就牵扯到利用一个采样得到的样本batch进行一次update。这就引出了expected risk E（f）和empirical risk En（f）的概念：

  • Emprical risk En(f)：一个样本batch（n个samples（xi，yi））上的average loss。衡量的是模型在训练集上的性能。

                                                                      

最低0.47元/天 解锁文章

200万优质内容无限畅学
随机梯度下降 (Stochastic Gradient Descent)
AI天才研究院
07-23 720
随机梯度下降 (Stochastic Gradient Descent) 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 1. 背景介绍 1.1
Stochastic Gradient Descent (SGD)原理与代码实例讲解
AI天才研究院
06-16 868
SGD作为一种经典的优化算法，已经在机器学习和深度学习领域取得了广泛应用。然而，随着数据规模和模型复杂度的不断增加，SGD也面临着新的挑战。未来，如何进一步提高SGD的收敛速度和稳定性，如何在大规模分布式系统中高效实现SGD，将是研究的重点方向。
Semi-Stochastic Gradient Descent Methods
01-05
Semi-Stochastic Gradient Descent Methods 半随机梯度下降方法，在深度学习，强化学习，机器学习中广泛应用
机器学习-随机梯度下降（Stochastic gradient descent）
weixin_34128534的博客
08-07 335
 sklearn实战-乳腺癌细胞数据挖掘（博主亲自录制视频） https://study.163.com/course/introduction.htm?courseId=1005269003&utm_campaign=commission&utm_source=cp-400000000398149&utm_medium=share 项目合作联系QQ：231469242 ...
机器学习中的数学——随机梯度下降（Stochastic Gradient Descent, SGD）
冯·诺依曼
03-06 1万+
随机梯度下降（Stochastic Gradient Descent, SGD）及其变种很可能是一般机器学习中应用最多的的优化算法，特别是在深度学习中。如《优化技术：基础知识》中所讨论的，按照数据生成分布抽取mmm个小批量（独立同分布的）样本，通过计算它们梯度均值，我们可以得到梯度的无偏估计。 随机梯度下降（Stochastic Gradient Descent, SGD）在第kkk个训练迭代的更新 输入：学习率ϵk\epsilon_kϵk​；初始化参数θ0\theta_0θ0​或第k−1k-1k−1次输
【机器学习】'Stochastic' Gradient Descent随机梯度下降
dodobibibi的博客
04-18 825
随机梯度下降：指的是每下降一步，使用一条训练集来计算梯度值 # -*- coding:utf-8 -*- # @Time:4/18/19 9:35 PM # @Author:CIGA # @Filename:03_stochastic_gradient_descent.py # @Software:PyCharm """ 随机梯度下降stochastic_gradient_descent 随机梯度...
详解随机梯度下降法（Stochastic Gradient Descent，SGD）
热门推荐
YGQ_qq_1435471912
03-02 4万+
深度学习最常用的优化方法就是随机梯度下降法，但是随机梯度下降法在某些情况下会失效，这是为什么呢？带着这个问题我们接着往下看。 一个经典的例子就是假设你现在在山上，为了以最快的速度下山，且视线良好，你可以看清自己的位置以及所处位置的坡度，那么沿着坡向下走，最终你会走到山底。 ∑i=1n∇θf(θ;xi,yi)+∇θϕ(θ) \sum_{i=1}^{n} \nabla_{\theta} f\left(\theta ; x_{i}, y_{i}\right)+\nabla_{\theta} \phi(\theta
机器学习-随机梯度下降（Stochastic gradient descent）和 批量梯度下降（Batch gradient
08-03
**机器学习中的优化算法：随机梯度下降（Stochastic Gradient Descent, SGD）与批量梯度下降（Batch Gradient Descent, GD）** 在机器学习领域，优化算法是寻找模型参数的关键，而梯度下降法是其中最常用的优化策略...
Federated Accelerated Stochastic Gradient Descent
04-23
- **随机梯度下降（Stochastic Gradient Descent, SGD）**：一种用于求解机器学习模型参数的优化算法。通过每次仅使用一个样本或小批量样本来更新模型参数，从而实现快速迭代。 - **联邦学习（Federated Learning, ...
Stochastic Gradient Descent
Boiler UP!
12-12 1454
Stochastic Gradient Descent1. What is Stochastic Gradient DescentStochastic Gradient Descent(SGD) is similiar with Batch Gradient Desent, but it used only 1 example for each iteration. So that it makes
一步一步分析讲解神经网络基础-gradient descent algorithm
凡难事必作于细的博客
12-22 2120
有兴趣的朋友可以看一下paper，百度网盘：https://pan.baidu.com/s/1slRxFZn 看这篇是cs上的一篇paper，将gd算法讲解复杂。打算使用通俗的方式讲解出来。 Gradient descent is a first-order iterative optimization algorithm for finding the minimum of a functio
【机器学习】Kaggle知识点：集成学习基础
fengdu78的博客
04-14 779
集成学习基础集成学习是指结合两个或多个模型的机器学习模型。集成学习是机器学习的分支，通常在追求更强预测的能力时使用。集成学习经常被机器学习竞赛中的顶级和获胜参与者使用。现代机器学习库（scikit-learn、XGBoost）内部已经结合了常见的集成学习方法。集成学习介绍集成学习结合多个不同的模型，然后结合单个模型完成预测。通常情况下，集成学习能比单个模型找到更好的性能。...
机器学习模型优化之模型融合
qq_14945847的博客
03-14 1026
二、个体学习器依赖的融合-boosting：1，boosting方法的思想：Boosting算法的工作机制是首先从训练集用初始权重训练出一个弱学习器1，根据弱学习的学习误差率表现来更新训练样本的权重，使得之前弱学习器1学习误差率高的训练样本点的权重变高，使得这些误差率高的点在后面的弱学习器2中得到更多的重视。梯度提升树：是对提升树算法的改进，提升树算法只适合误差函数为指数函数和平方误差，对于一般的损失函数，梯度提升树算法利用损失函数的负梯度在当前模型的值，作为残差的近似值。这个也好理解，一般用于分类模型。
随机平均梯度下降（Stochastic Average Gradient Descent，SAG）
qq_25426809的博客
05-08 789
随机平均梯度下降（Stochastic Average Gradient Descent，SAG）是一种随机优化算法，用于求解大规模数据集的最优解。SAG的主要思想是将历史梯度的平均值作为梯度的估计。它结合了随机梯度下降（SGD）的计算效率和批量梯度下降（BGD）的收敛性。通过使用历史梯度的平均值，SAG能够在每次迭代时减小梯度估计的方差，从而加速收敛。
optimizer总结
sinat_30618203的博客
10-14 293
1、torch.optim.SGD 参考资料： 1）[2010]Large-Scale Machine Learning with Stochastic Gradient Descent 2）Stochastic Gradient Descent Tricks 3）On the importance of initialization and momentum in deep learning 2、torch.optim.Rprop 参考资料： resi...
tensorflow常用优化器总结
qq_27150893的博客
09-12 591
反向传播算法和梯度下降算法用来调整神经网络中参数的取值，梯度下降算法主要用于优化单个参数的取值，反向传播算法给出了高效的方式在所有参数上使用梯度下降算法，来使得神经网络模型的损失函数尽可能小。Tensorflow提供了多种方式实现反向传播和梯度下降过程，通用的方式为：tf.train.GradientDescentOptimizer(learning_rate = 0.1).minimize(lo...
梯度下降法
qq_16032927的博客
03-10 6603
本文介绍梯度下降法的概念和主要内容
Stochastic Gradient Descent (SGD)
Daniel_djf的专栏
11-29 2855
Optimization: Stochastic Gradient Descent Overview Batch methods, such as limited memory BFGS, which use the full training set to compute the next update to parameters at each iteration tend to
Coursera机器学习-第十周-Large Scale Machine Learning
BD的笔记
06-23 4972
Gradient Descent with Large DatasetsLearning With Large Datasets 我们已经知道，得到一个高效的机器学习系统的最好的方式之一是，用一个低偏差(low bias)的学习算法，然后用很多数据来训练它。 下面是一个区分混淆词组的例子： 但是，大数据存在一个问题，当样本容量m=1,000时还行，但是当m=100,000,000呢？请看一下
如果采用stochastic gradient descent呢
最新发布
03-22
### 随机梯度下降（Stochastic Gradient Descent, SGD）概述 随机梯度下降是一种常用的优化算法，在机器学习和深度学习领域广泛应用。它通过每次迭代仅使用单一样本或一小批样本来更新模型参数，从而显著减少计算开销并提高训练效率[^4]。 #### 基本原理 SGD的核心思想是在每一次迭代过程中，利用单一数据样本的梯度方向来调整模型权重。这种方法相比传统的批量梯度下降（Batch Gradient Descent），能够更快地收敛于局部最优解，尤其是在处理大规模数据集时表现尤为突出[^3]。 #### 实现细节 在实际应用中，Torch框架提供了 `optim.sgd` 方法作为实现随机梯度下降的标准工具之一。该方法允许用户自定义超参数，例如学习率、动量项以及权重衰减系数等，这些设置对于提升模型性能至关重要[^2]。 #### 场景分析 由于其高效性和灵活性，SGD被广泛应用于多种场景下： - **大规模数据集训练**：当面对海量数据时，传统批量梯度下降可能因内存占用过高而无法运行；此时采用SGD可以有效缓解这一问题[^5]。 - **在线学习环境**：在实时流式数据分析任务中，新数据不断涌入系统，要求模型快速适应变化趋势而不需重新加载全部历史记录——这正是SGD擅长之处[^1]。 以下是基于PyTorch的一个简单SGD实现案例： ```python import torch from torch import nn, optim # 定义简单的线性回归模型 model = nn.Linear(in_features=10, out_features=1) # 创建损失函数与优化器 criterion = nn.MSELoss() optimizer = optim.SGD(model.parameters(), lr=0.01) # 模拟输入输出数据 inputs = torch.randn(100, 10) targets = torch.randn(100, 1) for epoch in range(10): # 进行多次epoch循环 total_loss = 0 for i in range(len(inputs)): input_data = inputs[i].unsqueeze(0) # 获取单个样本 target_data = targets[i].unsqueeze(0) optimizer.zero_grad() # 清除之前的梯度 output = model(input_data) # 计算预测值 loss = criterion(output, target_data) # 计算当前样本上的误差 loss.backward() # 反向传播求导数 optimizer.step() # 更新参数 total_loss += loss.item() print(f'Epoch {epoch}, Loss: {total_loss / len(inputs)}') ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值