随机梯度下降

最新推荐文章于 2024-06-18 17:00:00 发布
转载 最新推荐文章于 2024-06-18 17:00:00 发布 · 3.6k 阅读 · 4
文章标签：

#随机梯度下降 #优化

本文详细解释了随机梯度下降的概念及其在机器学习领域的应用，包括梯度下降的基本原理，如何克服大规模问题的计算开销，以及在不同算法中的具体实现。通过数学推导证明了随机梯度下降的收敛性，并提供了实际例子，如感知机、支持向量机和套索算法的更新公式。最后，介绍了一种提高更新效率的小技巧。

随机梯度下降(Stochastic Gradient Descent, SGD)是随机和优化相结合的产物，是一种很神奇的优化方法，属于梯度下降的一种，适用于大规模的问题 。
要想扯清楚它，还得先谈谈梯度下降。
众所周知，每个优化问题会有一个目标函数f(w)，
梯度下降就是采用迭代的策略，
从初始点w1开始，
每次沿着目标函数在当前点的负梯度方向前进一定的步长，即

wt+1=wt–ηt∇f(wt)

只要步长ηt设置合理，
这样可以得到一个单调递减的序列{f(w1),…,f(wt),…}，
直至最终不再下降，即可得到最优解w∗。
对于一般优化问题，梯度下降可以找到局部最优解，对于凸优化问题，梯度下降可以得到全局最优解，下面我们只考虑凸优化问题。
考虑如下的目标函数

f(w)=∑i=1nf(w,xi)

其中xi是与w无关的常向量。
当n为很大的正整数时，例如几十万甚至几百万时，计算梯度:

∇f(w)=∑i=1n∇fi(w,xi)

代价很大，那么这个方法就行不通了。
但是这样的问题在机器学习领域又很常见，比如感知机(Perceptron)，支持向量机(Support Vector Machine, SVM)，套索(Least Absolute Shrinkage and Selection Operator, LASSO)等算法都可以写成如下的形式:

λΩ(w)+1n∑i=1nL(w,xi)

其中Ω(w)是关于w的凸正则化项，
L(w,xi)是关于w的凸损失函数。
因此我们需要克服梯度下降计算开销太大的问题，那么，随机梯度下降就呼之欲出了。

随机梯度下降的基本想法很简单，就是不直接计算梯度的精确值，而是用梯度的无偏估计 g(w)来代替梯度，即

wt+1=wt–ηtg(wt)

其中E[g(wt) | wt]=∇f(wt)。

那么肯定有人要问，这么简单，靠不靠谱啊？
可以证明的是在某些条件下，这样得到的序列
{f(w1),…,f(wt),…}
中的最小值依期望收敛 到f(w∗)。
具体来说，设

ηt≥0, ∑t=1∞η2t=||η||22<∞, ∑t=1∞ηt=∞

其中η=[η1,η2,…]⊤是无穷维向量，
并假设存在常数G和R满足，
对于任意t有E[||g(wt)||22]≤G2，E[||w1–w∗||22]≤R2，
并记fbest(t)=min{f(w1),…,f(wt)}，
那么当t→∞时，E[fbest(t)]→f(w∗)。

结合条件期望的性质和f的凸性知

E[||wt+1–w∗||22 | wt]=E[||wt–ηtg(wt)–w∗||22 | wt]=E[||wt–w∗||22 | wt]–2ηtE[g(wt)⊤(wt–w∗) | wt]+η2tE[g(wt)2 | wt]=||wt–w∗||22–2ηtE[g(wt)⊤ | wt](wt–w∗)+η2tE[g(wt)2 | wt]=||wt–w∗||22–2ηt∇f(wt)(wt–w∗)+η2tE[g(wt)2 | wt]≤||wt–w∗||22–2ηt(f(wt)–f(w∗))+η2tE[g(wt)2 | wt]

两边同时对wt取期望，由重期望公式知

E[||wt+1–w∗||22]≤E[||wt–w∗||22]–2ηt(E[f(wt)]–f(w∗))+η2tG2

重复利用该式可得

E[||wt+1–w∗||22]≤E[||w1–w∗||22]–2∑j=1tηj(E[f(wj)]–f(w∗))+G2∑j=1tη2j

注意E[||wt+1–w∗||22]≥0，
E[||w1–w∗||22]≤R2以及∑tj=1η2j≤||η||22，
于是

2∑j=1tηj(E[f(wj)]–f(w∗))≤R2+G2||η||22

结合E[fbest(t)]≤E[f(wj)]可知

E[fbest(t)]–f(w∗)≤R2+G2||η||222∑tj=1ηj

由于∑∞t=1ηt=∞，故当t→∞时有E[fbest(t)]→f(w∗)。

此外，由Markov不等式知对于∀ϵ>0有

P(fbest(t)–f(w∗)≥ϵ)≤E[fbest(t)–f(w∗)]ϵ≤R2+G2||η||222ϵ∑tj=1ηj

即当t→∞时有P(fbest(t)–f(w∗)≥ϵ)→0。

下面举几个机器学习里的具体例子，设训练集S有n个样本，
即S={(x1,y1),(x2,y2),…,(xn,yn)}，
由于有

Exi[∇L(w,xi)]=∑i=1n1n∇L(w,xi)=∇(1n∑i=1nL(w,xi))

成立，于是一个很直观的想法就是每次更新只随机选取一个样本xi来计算梯度。

感知机：感知机可形式化成如下的优化问题

minw   1n∑i=1nmax{0,–yiw⊤xi}

那么对应的更新公式为

wt+1=wt+ηt{ytxt0ytw⊤xt<0otherwise

支持向量机：支持向量机可形式化成如下的优化问题

minw   λ2||w||22+1n∑i=1nmax{0,1–yiw⊤xi}

那么对应的更新公式为

wt+1=wt–ηt{λwt–ytxtλwtytw⊤xt<1otherwise

套索：套索可形式化成如下的优化问题

minw   λ||w||1+1n∑i=1n12(w⊤xi–yi)2

设w=u–v
且u≥0,v≥0，e为全1向量，
优化问题可重写为

minu,v   λu⊤e+λv⊤e+1n∑i=1n12(u⊤xi–v⊤xi–yi)2

那么对应的更新公式为

ut+1vt+1=max{0,ut–ηt(ut–ηt(λe+(w⊤xt–yt)xt))}=max{0,vt–ηt(vt–ηt(λe–(w⊤xt–yt)xt))}

最后再提一个小技巧，以支持向量机为例，它的更新公式为

wt+1=(1–ληt)wt+{ytxt0ytw⊤xt<1otherwise

当x维度很高而非零元素很少时，+ytxt可以很高效地算出来，
但是第一项(1–ληt)wt的计算代价就有点高了，
因为w一般来说不是稀疏的，一个小技巧就是做个变量代换

wt=utαt

其中αt是标量，于是原来的更新式可以转化为如下只涉及标量计算和稀疏向量操作的更新过程

αt+1ut+1=αt1–ληt=ut+{αt+1ytxt0ytw⊤xt<1otherwise
随机梯度下降（Stochastic Gradient Descent, SGD）
m0_51200050的博客
06-30 1200
随机梯度下降（SGD）通过每次使用一个训练样本计算梯度并更新参数，减少了每次更新的计算量，提高了计算效率。通过上述具体示例，可以清楚地看到SGD如何在每次迭代中逐步更新参数，最终使模型逐渐逼近最优解。SGD适用于大规模数据集，并且通过随机选择样本可以避免陷入局部最优解。
随机梯度下降法 (SGD)
最新发布
We1ky的博客
07-31 8179
SGD的基本思想是通过逐个样本或小批量样本来更新模型参数，而不是使用整个数据集。这种方法大大提高了计算效率，特别是在处理大规模数据集时。
详解随机梯度下降法（Stochastic Gradient Descent，SGD）
热门推荐
YGQ_qq_1435471912
03-02 5万+
深度学习最常用的优化方法就是随机梯度下降法，但是随机梯度下降法在某些情况下会失效，这是为什么呢？带着这个问题我们接着往下看。 一个经典的例子就是假设你现在在山上，为了以最快的速度下山，且视线良好，你可以看清自己的位置以及所处位置的坡度，那么沿着坡向下走，最终你会走到山底。 ∑i=1n∇θf(θ;xi,yi)+∇θϕ(θ) \sum_{i=1}^{n} \nabla_{\theta} f\left(\theta ; x_{i}, y_{i}\right)+\nabla_{\theta} \phi(\theta
随机梯度下降法
qq_16032927的博客
03-10 5157
本文主要介绍随机梯度下降法
25-随机梯度下降法
qq_41033011的博客
10-15 760
随机梯度下降法 1. 概念   我们之前学习的梯度下降法一直是要我们最优化的那个损失函数相应在某一点的 θθθ 那个梯度值准确的求出来。   那么通过推导的这个公式可以看出来，要想求出这个准确的梯度来，在这个式子中每一项都要对所有的样本（mmm 个）进行一下计算，前面是有一个求和计算的，那么这样的一个下降法通常又叫做批量梯度下降法（Batch Gradient Descent）。也就是说，每一次计算的过程都要将样本中所有的信息批量的进行计算，但是这显然就带来了一个问题，如果我们的 mmm 非常大，也就是
精选资源
SGD随机梯度下降Matlab代码
02-21
SGD（Stochastic Gradient Descent，随机梯度下降）是一种常用的优化算法，广泛应用于机器学习领域，特别是训练深度学习模型时。在Matlab环境中实现SGD可以帮助我们更好地理解和掌握这一算法，同时也为实际项目提供...
Spark MLlib随机梯度下降法概述与实例
08-27
Spark MLlib随机梯度下降法概述与实例 Spark MLlib随机梯度下降法概述与实例是机器学习算法中的一种重要技术，用于解决线性回归问题。该算法通过不断地判断和选择当前目标下最优的路径，从而能够在最短路径下达到...
精选资源
Adam随机梯度下降优化：Adam随机梯度下降优化算法的Matlab实现-matlab开发
05-29
Adam 设计用于处理随机梯度下降问题； 即当仅使用小批量数据来估计每次迭代的梯度时，或使用随机 dropout 正则化时 [2]。 有关示例，请参阅 GIT 存储库： https://github.com/DylanMuir/fmin_adam 用法： [x, fval...
Logistic算法（随机梯度下降法）的Python代码和数据样本
03-12
在Python中，可以使用NumPy库进行矩阵运算，Pandas库处理数据，Matplotlib库可视化结果，而Scikit-learn库则提供了现成的逻辑回归和随机梯度下降接口，简化了模型训练和评估的过程。在提供的`randomLogistic.py`文件...
Python语言描述随机梯度下降法
09-20
- **随机梯度下降（SGD）**：每次仅使用一个样本的梯度更新参数，速度快但可能收敛不稳定。 3. **随机梯度下降（SGD）的应用** - **在机器学习中的应用**：SGD常用于线性分类器，如支持向量机（SVM）和逻辑回归，...
随机梯度下降与小批量梯度下降算法
10-23
损失使用平方函数，简单的线性模型 y = theta1 + theta2 * x
【深度学习】（一）梯度下降算、随机梯度下降原理公式+小练习
Queen_sy的博客
10-14 1751
模型开始w是一个随机猜测，w=random value，搜索的过程：就是要找一个w最适合数据集的w目的：使得Σ（y^-y)²最小。最直接的方法：将认为权重可能取值的区间w_list=[]表示出来，循环，每层循环求取一个loss（损失） loss最小的w最佳，例如当权重增多时，并不可取。
梯度下降算法之随机梯度下降
绎岚科技的博客
06-18 2442
梯度下降是搜索目标函数的最优值（最小值/最大值）的迭代优化过程。它是机器学习项目中最常用的改变模型参数以降低成本函数的方法之一。 梯度下降的主要目标是识别在训练和测试数据集上提供最大精度的模型参数。在梯度下降中，梯度是指向函数在特定点最陡上升的一般方向的向量。通过在梯度的相反方向上移动，算法可以逐渐向函数的较低值下降，直到达到函数的最小值。
梯度下降算法
北极星的博客
01-21 1608
梯度下降是机器学习的优化算法中的一种，常用于机器学习和人工智能当中用来递归性地逼近最小偏差模型。 文章目录梯度的引入随机梯度下降（SGD）与批量梯度算法 梯度的引入 z=y2−x2z=y^2-x^2z=y2−x2 从公式中可以看出 ,当沿着x轴运动时，偏导数为∂z∂x\frac{\partial z}{\partial x}∂x∂z​=-2x,与 y无关，当沿着 Y轴运动时， ∂z∂y\frac{\partial z}{\partial y}∂y∂z​=2y,与x轴无关。 梯度∇f=(∂f∂x1,∂f
随机梯度下降（Stochastic gradient descent）
zbwgycm的博客
03-04 1万+
总目录 一、 凸优化基础（Convex Optimization basics） 凸优化基础（Convex Optimization basics） 二、 一阶梯度方法（First-order methods） 2. 梯度下降（Gradient Descent） 3. 次梯度（Subgradients） 4. 近端梯度法（Proximal Gradient Descent） 5. 随机梯度下降...
随机梯度下降算法
m0_37786726的博客
01-23 500
随机梯度的下降算法：（类似补偿算法） 算法实现如下： package tide import scala.collection.mutable object SGD { val data=mutable.HashMap[Int,Int]() def getdata():mutable.HashMap[Int,Int]={ //生成数据集，数
深度学习数学基础(二)～随机梯度下降(Stochastic Gradient Descent, SGD)
天狼啸月1990的博客
02-24 1万+
因为大家都是在一个真实的分布中得到的样本，对于分布的拟合都是近似的。想要以最快的方式下山，就沿着梯度的反方向走。下面的这张动图演示，乍看就像就像是在复杂地形中作战的沙盘推演，其实揭示的是随机梯度下降（SGD）算法的本质。同样是走一步路，坡度大的地方上升的高度就高，坡度小的地方上升的高度就小，对比现实生活中的盘山公路！了解之后，总的来说，随机梯度下降一般来说效率高，收敛到的路线曲折，但一般得到的解是我们能够接受的，而梯度下降算法的最终目的，是找到整个“地形”中的最低点（全局最小值），也就是海拔最低的山谷。
联邦学习加速随机梯度下降法
"FederatedAcceleratedStochasticGradientDescent - 提升联邦学习中随机梯度下降的效率与收敛速度" 在大规模机器学习应用中，利用分布式计算资源和去中心化的数据是至关重要的。传统的集中式学习方法面临的主要挑战...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值