梯度下降法常用的更新公式

最新推荐文章于 2024-11-03 11:23:02 发布
原创 最新推荐文章于 2024-11-03 11:23:02 发布 · 1k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#算法

由于博客内容为空，暂无法提供包含关键信息的摘要。

在这里插入图片描述

梯度下降算法——theta参数更新公式的数学理解
浮沉随浪。
07-27 3364
（notice：粗体以示向量） 一、引出算法 在学习 Linear Regression 算法时，经典案例就是房价预测。在通过一系列预处理操作后，得到一个带有特征变量xxx和可学习参数θ\thetaθ的假设函数: hθ(x)=θ0+θ1x1+θ2x2h_\theta(\textbf{x}) = \theta_0 + \theta_1{x_1} +\theta_2 {x_2}hθ​(x)=θ0​+θ1​x1​+θ2​x2​ 一般式： hθ(x)=∑i=0nθixi=θT⋅x（n为特征数） h_\theta(\
机器学习-梯度下降算法原理及公式推导
热门推荐
数据掘金
07-10 9万+
在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降算法（Gradient Descent Algorithm）是最常采用的方法之一，也是众多机器学习算法中最常用的优化方法，几乎当前每一个先进的(state-of-the-art)机器学习库或者深度学习库都会包括梯度下降算法的不同变种实现。 梯度就是导数 梯度下降法就是一种通过求目标函数的导数来寻找目标函数最小化的方法。 梯度下降目的是找到目标函数最小化时的取值所对应的自变量的值，记住我们目的是为了找自变量x。 ...
梯度下降算法更新公式推导
Victor_Li_的博客
11-02 943
如果用一阶泰勒展开式,得到的函数近似表达式是:f(θ) = f(θ0) + (θ - θ0)*f '(θ0)。我们知道梯度下降每走一步都是朝着最快下山的方向(因为希望尽快收敛得到最佳值),因此应该最小化f(θ) - f(θ0) = (θ - θ0)*f '(θ0)。当v和f '(θ0)反方向时,我们可以用f '(θ0)向量来表示v,即v = -η*f '(θ0) (其中η表示长度大小)这样就得到了更新公式 θ = θ0 - η*f '(θ0) (其中η是学习率,f '(θ0)是函数在θ0处的梯度)
基于梯度下降算法的参数更新公式的推导
qq2668717514的博客
07-02 1790
基于梯度下降算法的参数更新公式的推导 ​ 在前面一篇文章中写到了线性回归算法以及梯度下降算法对参数的更新： ​ θi=θi′−α∂Loss∂θ\theta_i=\theta_i^{'}-\alpha\frac{\partial Loss}{\partial \theta}θi​=θi′​−α∂θ∂Loss​ ​ 每一个算法都要会有相应的数学公式推到，那么这个参数更新公式...
【转载】梯度下降算法的参数更新公式
rickhuan的博客
05-21 3万+
NN这块的公式，前馈网络是矩阵乘法。损失函数的定义也是一定的。 但是如何更新参数看了不少描述，下面的叙述比较易懂的：   1、在吴恩达的CS229的讲义的第四页直接给出参数迭代公式   在UFLDL中反向传导算法一节也是直接给出的公式   2、例子： 第一步：随机对比重（a,b）赋值并计算误差平方和（SSE） 第二步：通过对误差比重（a,b）求导计算出误差梯度（注：Y...
机器学习之数学系列（二）梯度下降法(参数更新公式的由来)
buchidanhuang的博客
11-20 7503
一、 引言 下山问题   假设我们位于黄山的某个山腰处，山势连绵不绝，不知道怎么下山。于是决定走一步算一步，也就是每次沿着当前位置最陡峭最易下山的方向前进一小步，然后继续沿下一个位置最陡方向前进一小步。这样一步一步走下去，一直走到觉得我们已经到了山脚。这里的下山最陡的方向就是梯度的负方向。   什么是梯度？通俗来说，梯度就是表示某一函数在某点处函数值变化最快的方向，即：∇f(θ⃗)=(∂f∂θ1...
梯度下降法案例及梯度下降算法种类
YIAN爱学习的博客
11-03 998
介绍梯度下降算法的分类：全梯度下降算法、随机梯度下降算法、平局随机梯度下降算法、小批量随机梯度下降算法
神经网络系列---常用梯度下降算法
weixin_43763292的博客
02-24 2748
常用梯度下降算法 当涉及不同的梯度下降算法时，每种算法都有其独特的特点和优化策略。下面对每种算法进行详细解释： 随机梯度下降（Stochastic Gradient Descent，SGD）： 算法原理：在每次迭代中，随机选择一个训练样本来计算损失函数的梯度，并更新模型的参数。由于随机选择样本，梯度估计存在一定的噪声，导致优化路径不稳定，但收敛速度较快。 优点：收敛速度快，计算开销较小。 缺点：优化路径不稳定，可能会震荡，难以找到全局最优解。 算法原理：在每次迭代中，使用所有训练样本来计算损
详解随机梯度下降法（Stochastic Gradient Descent，SGD）
YGQ_qq_1435471912
03-02 5万+
深度学习最常用的优化方法就是随机梯度下降法，但是随机梯度下降法在某些情况下会失效，这是为什么呢？带着这个问题我们接着往下看。 一个经典的例子就是假设你现在在山上，为了以最快的速度下山，且视线良好，你可以看清自己的位置以及所处位置的坡度，那么沿着坡向下走，最终你会走到山底。 ∑i=1n∇θf(θ;xi,yi)+∇θϕ(θ) \sum_{i=1}^{n} \nabla_{\theta} f\left(\theta ; x_{i}, y_{i}\right)+\nabla_{\theta} \phi(\theta
精选资源
优化算法 - 应用遗传算法、粒子群优化或梯度下降法解决实际问题
06-24
梯度下降法是一种常用的迭代优化算法，其基本思想是从初始点出发，沿着目标函数的负梯度方向移动，逐渐逼近函数的最小值点。梯度下降法被广泛应用于机器学习领域，如线性回归、逻辑回归以及神经网络的训练过程中。 ...
梯度下降法参数更新公式的推导
weixin_44056948的博客
05-16 2429
梯度下降法参数更新公式的推导 先来回顾一下梯度下降法的参数更新公式： （其中，α是学习速率，是梯度） 这个公式是怎么来的呢？下面进行推导： 首先，如果一个函数n 阶可导，那么我们可以用多项式仿造一个相似的函数，这就是泰勒展开式。其在a点处的表达式如下： 可以看出，随着式子的展开，这个展开式越来越接近于原函数。 如果用一阶泰勒展开式，得到的函数近似表达式就是：。想像梯度下降就是站在山坡上往下走，是原点，是往下走一步后所处的点。 我们知道梯度下降每走一步都是...
【通俗解释】5种梯度下降法的公式
神经美学_茂森的博客
07-21 3857
这就像是一个人在下山，他每一步都会根据最近走过的路的坡度（梯度的平方）来调整自己的步伐大小，而不是像AdaGrad那样考虑整个历史。：这就像是一个人在下山，他每一步都会根据之前走过的路的坡度（梯度的平方）来调整自己的步伐大小。如果之前走过的路很陡峭，他就会走得小心一些（步伐小一些）。：这就像是一个人在滑冰，他每一步都会考虑上一步的速度和方向，然后再根据当前的梯度来调整自己的速度和方向。：这就像是一个人在下山，他每一步都选择最陡峭的方向（梯度的反方向）走一步，直到走到山脚（损失函数的最小值）。
梯度下降法 Gradient descent
zshxsr的博客
03-11 572
经常听到梯度下降法，只知道它是用于优化求解问题。即 沿着梯度的反方向（坡度最陡的方向）进行权值更新。为什么局部梯度下降最快的方向就是梯度的负方向呢？ 梯度 梯度就是表示某一个函数在当前位置的导数。为自变量，为关于的函数；为梯度 如果函数为凸函数，那么就可以根据梯度下降算法进行优化，求得使最小的参数； 为当前下山的位置，为下山移动一小步之后的位置，为学习因子，即步长。 梯度更新公...
常见的梯度超参数更新方法
lixixi
04-02 592
常见的梯度超参数更新方法 Adagrad :Root Mean Square θi1=θi0−ησi0gi0σi0=(gi0)2=｜gi0｜ \theta_i^1 =\theta_i^0-\tfrac{\eta}{\sigma_i^0}g_i^0 \\ \sigma_i^0 = \sqrt{(g_i^0)^2}=｜g_i^0｜ θi1​=θi0​−σi0​η​gi0​σi0​=(gi0​)2​=｜gi0​｜ θi2=θi1−ησi1gi1σi1=12[(gi1)2+(gi1)2] \theta_i^2 =\
链式法则-梯度更新公式推导（手写笔记）
HPG的博客
08-01 2701
虽然以前学过导数、偏导、梯度之类的相关知识，但时间久远导致总感觉晕晕乎乎的，于是自己推导一下具有一个隐藏层的神经网络的梯度反向传播公式，希望对大家有帮助。 笔记中指出了为什么会存在梯度消失以及梯度爆炸现象。 梯度消失 主要是由于激活函数的导数值域通常比较小，当网络较深时，导数的连乘会导致该值越来越趋于0，从而导致靠近输出端的权重能够得到更新，而越靠近输入端的权重无法得到更新，最终导致学习效果不佳。 梯度爆炸 从公式中可以看出，梯度的反向传播与权重本身的值也有关系，当权重初始值特别大时，会导致反向传播时偏导数
梯度更新方式
weixin_41855010的博客
03-11 1512
批量梯度下降 优化目标：误差平方 梯度更新：θn=θo-ηδ 随机梯度下降 和批量梯度下降相比，不需要对每个数据求梯度计算做平均 对比批量梯度下降：更快地更新参数，但是在学习中不定性或震荡 小批量梯度下降 算法思想：批量梯度下降和随机梯度下降的结合，批量梯度下降优秀的稳定性和随机梯度下降的快速更新 小批量梯度下降很容易做并行化，通过不同的线程去执行然后加和这些梯度 基本搜索步骤 随机...
深度学习实战-3 梯度下降算法
zzzzzfffftttt的博客
10-09 431
网上一个很精彩的PyTorch深度学习实践的课程，几个月前学完了，现在准备再学一遍，加深一下理解与印象，做一些笔记。文章如有错误，望批评指正。本课程只是笔记，如有侵权，请联系我删除。 文章目录3 梯度下降算法3.1 传统方法遇到的问题3.2 梯度下降法的引出3.3 局部最优与鞍点3.4 梯度下降法实例3.5 代码求解与可视化3.6 损失函数策略3.7 其他梯度下降法 3 梯度下降算法 3.1 传统方法遇到的问题 前面我们讲的是用搜索法进行线性模型的确定。但是这个方法有一定缺陷，就是当参数较多时，搜索量非常大
机器学习笔记：梯度下降
lyc0424的博客
03-04 363
梯度下降是一个用来求函数最小值的算法，我们将使用梯度下降算法来求出代价函数 J(θ0,θ1)的最小值。 梯度下降背后的思想是：开始时我们随机选择一个参数的组合（ θ0,θ1,...,θn），计算代价函数，然后我们寻找下一个能让代价函数值下降最多的参数组合。 我们持续这么做直到到到一个局部最小值（ local minimum） ,因为我们并没有尝试完所有的参数组合，所以不能确定我们得到的局部最小...
梯度下降法中步长更新公式
qq_35027690的博客
12-04 4435
  凸优化问题有一个重要的特性：所有的局部最优解一定是全局最优解。   但实际中的问题往往不是凸的，或者说其梯度很难求解，所以我们想要得到精确的解很难。工程上一般用迭代法求近似解。它的思想是，从一个初始点开始，反复使用某种规则移动到下一个点，构造这样一个数列，直至收敛到梯度为0的点处。即有下列极限成立。 lim⁡k→+∞∇f(xk)=0\mathop {\lim }\limits_{k \to ...
梯度下降的更新公式
最新发布
08-05
梯度下降算法是一种用于最小化损失函数的优化算法，其核心思想是沿着梯度的负方向逐步调整参数，以找到函数的最小值。参数更新公式是梯度下降法的关键组成部分，其数学表达式如下： ### 参数更新公式 梯度下降法的参数更新公式为： $$ \theta_{t+1} = \theta_t - \eta \cdot \nabla J(\theta_t) $$ 其中： - $\theta_t$ 表示第 $t$ 次迭代时的参数向量。 - $\eta$ 是学习率（步长），控制每次更新的幅度。 - $\nabla J(\theta_t)$ 是损失函数 $J(\theta)$ 在 $\theta_t$ 处的梯度向量，表示函数在该点的变化率。 - $\theta_{t+1}$ 是更新后的参数向量。 ### 具体形式 在实际应用中，梯度下降法有多种形式，以下是几种常见的变体： #### 1. 批量梯度下降法（BGD） 批量梯度下降法使用所有训练样本来计算梯度，其参数更新公式为： $$ \theta_{t+1} = \theta_t - \eta \cdot \frac{1}{N} \sum_{i=1}^{N} \nabla J(\theta_t; x_i, y_i) $$ 其中： - $N$ 是训练样本的总数。 - $x_i$ 和 $y_i$ 分别是第 $i$ 个样本的输入和目标输出。 批量梯度下降法的更新过程较为稳定，但由于每次迭代都需要遍历所有样本，计算成本较高 [^2]。 #### 2. 随机梯度下降法（SGD） 随机梯度下降法每次仅使用一个样本进行梯度计算，其参数更新公式为： $$ \theta_{t+1} = \theta_t - \eta \cdot \nabla J(\theta_t; x_j, y_j) $$ 其中： - $j$ 是随机选择的一个样本索引。 由于每次更新只依赖一个样本，随机梯度下降法的训练速度较快，但其更新方向波动较大，可能导致收敛过程不稳定 [^2]。 #### 3. 小批量梯度下降法（MBGD） 小批量梯度下降法结合了批量梯度下降和随机梯度下降的优点，每次使用一个小批量的样本来计算梯度，其参数更新公式为： $$ \theta_{t+1} = \theta_t - \eta \cdot \frac{1}{B} \sum_{i=1}^{B} \nabla J(\theta_t; x_{b_i}, y_{b_i}) $$ 其中： - $B$ 是小批量的大小（通常取10、32、64等）。 - $b_i$ 是随机选择的样本索引。 小批量梯度下降法在计算效率和收敛稳定性之间取得了较好的平衡，是实际应用中最常用的方法 [^2]。 ### 代码示例 以下是一个使用小批量梯度下降法优化线性回归模型的 Python 代码示例： ```python import numpy as np # 生成模拟数据 np.random.seed(0) X = 2 * np.random.rand(100, 1) y = 4 + 3 * X + np.random.randn(100, 1) # 添加偏置项 X_b = np.c_[np.ones((100, 1)), X] # 超参数 learning_rate = 0.1 n_iterations = 1000 batch_size = 10 # 参数初始化 theta = np.random.randn(2, 1) # 小批量梯度下降 for iteration in range(n_iterations): # 打乱数据 indices = np.random.permutation(100) X_shuffled = X_b[indices] y_shuffled = y[indices] # 分批次更新 for i in range(0, 100, batch_size): X_i = X_shuffled[i:i+batch_size] y_i = y_shuffled[i:i+batch_size] # 计算梯度 gradients = (2 / batch_size) * X_i.T @ (X_i @ theta - y_i) # 更新参数 theta -= learning_rate * gradients print("最终参数估计：", theta) ``` ### 相关问题 1. 梯度下降法中的学习率如何选择？ 2. 如何判断梯度下降法是否已经收敛？ 3. 随机梯度下降法和小批量梯度下降法有什么区别？ 4. 为什么梯度下降法不能直接求解参数？ 5. 梯度下降法在非凸优化问题中的表现如何？
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值