机器学习-梯度下降法（3.1）

最新推荐文章于 2025-03-21 10:37:51 发布
原创 最新推荐文章于 2025-03-21 10:37:51 发布 · 247 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。

本文深入探讨了梯度下降法这一优化策略，解释了它如何用于最小化损失函数，以及梯度上升法如何最大化效用函数。文章还讨论了学习率η的影响，以及在多元线性回归中梯度下降的应用。

一.梯度下降法

  • 不是一个机器学习算法
  • 是一种基于搜索的最优化方法
  • 作用：最小化一个损失函数
  • 梯度上升法：最大化一个效用函数

很多函数不能之间求出最小化函数的参数解。需要基于搜索的策略求解。

导数代表梯度增大的方向，函数在梯度这个方向的方向导数是最大的。函数方向导数的最大值为梯度的模。

  • η是学习率
  • η取值影响获最优解速度
  • η是梯度下降的超参数

二.模拟梯度下降法

三.线性回归中的梯度下降

1.多元线性回归梯度推导

2.使用梯度下降法训练

 

3.1 梯度下降法学习——梯度下降法的原理及分析
qq_34734683的博客
03-13 1611
梯度下降法：不是一种机器学习的算法，而是一种基于搜索的最优化方法，通过当前点的梯度方向找到新的迭代点，并从当前点移动到新的迭代点继续寻找新的迭代点直到找到最优解，作用是在最小化目标函数。如果是最大化效用函数则使用的是梯度上升法。训练模型的本质其实就是在最小化一个损失函数，而有的模型求不到最优的数学解就需要使用梯度下降法来基于搜索找到最优解。（一维平面中）纵坐标为损失函数，横坐标为参数变化。最小化损...
机器学习——梯度下降法(Gradient Descent)初识
Liuyt_61的博客
11-17 528
梯度下降法（Gradient Descent） 不是一个机器学习算法 是一种基于搜索的最优化方法 作用：最小化一个损失函数 梯度上升法：最大化一个效用函数 无论是梯度下降法还是梯度上升法都是对目标函数进行优化操作。 梯度下降法可以类比下山的过程，山势连绵不绝，不知道怎么下山。于是每次沿着当前位置最陡峭最易下山的方向前进一小步，然后继续沿下一个位置最陡方向前进一小步，一直走到觉得已经到了山脚。...
详解梯度下降法求解线性模型参数
Maple__Boy
08-15 2066
有监督学习和无监督学习 机器学习，分为有监督学习和无监督学习。 有监督学习，就是有训练集，有label，我们是可以知道模型输出是什么样子的。而无监督学习，没有训练集，没有label，提前无法知道输出的样子。 有监督学习分为两种：回归和分类。模型输出若为连续变量，就是回归；模型输出为离散值，就是分类。 无监督学习常见的是聚类。给定一堆数据集，从中找出相似的类簇，这个过程没有label。 神经网络，深度学习，SVM和决策树，都是有监督学习。下面介绍的方法也只适用于有监督学习。 模型 机器学习最一般的模型就是下面
机器学习入门（四）：常用优化算法-梯度下降法
米饭超人的专栏
03-12 958
凸函数 什么叫做凸函数？这个有一套严格的数学定义：某个向量空间的凸子集（区间）上的实值函数，如果在其定义域上的任意两点 ，有 f(tx + (1-t)y) <= tf(x) + (1-t)f(y)，则称其为该区间上的凸函数。 注意：此处说得凸函数对应英语中的 Convex Function。在有些数学教材中（例如同济大学高等数学教材），把这种函数称为指凹函数，...
吴恩达深度学习笔记（8）-重点-梯度下降法（Gradient Descent）
Harpoon_fly的博客
11-23 653
梯度下降法（Gradient Descent）（重点） 梯度下降法可以做什么？ 在你测试集上，通过最小化代价函数（成本函数） J(w,b) 来训练的参数w和b ， 如图，在第二行给出和之前一样的逻辑回归算法的代价函数（成本函数）(上一篇文章已讲过） 梯度下降法的形象化说明 在这个图中，横轴表示你的空间参数w 和 b ，在实践中，w可以是更高的维度，但是为了更好地绘图，我们定义 w 和b，都...
机器学习--梯度下降法（Gradient Descent）
YGQ_qq_1435471912
01-23 2846
目录1.概述2.梯度下降法2.1场景假设 1.概述 2.梯度下降法 2.1场景假设
机器学习-线性回归方法之最小二乘法和梯度下降法
weixin_44818956的博客
10-17 2105
1线性回归（Linear Regression）2.求解方法 最小二乘法 梯度下降法3.python代码示例
彻底学会系列：一、机器学习之梯度下降（1）
挑大梁的专栏
03-17 1351
是一种优化算法，用于最小化一个函数的值，特别是用于训练机器学习模型中的参数，其基本思想是通过不断迭代调整参数的值，使得函数值沿着梯度的反方向逐渐减小，直至达到局部或全局最小值。学习率设置得太小，参数更新的步长就会很小，导致收敛速度缓慢，需要更多的迭代次数才能收敛到最优解，或者在达到最优解之前就提前停止。方法，选定一个经验初始值，一步步沿着梯度的反方向进行计算，使方程解尽快达到收敛，并得出最优解。学习率的是一个经验，把它设置成一个比较小的正整数，0.1、0.01、0.001、0.0001，
机器学习--梯度下降法（BGD、SGD、MBGD）
runnerxin的博客
10-29 1229
机器学习、梯度下降法、BGD、SGD、MBGD
机器学习中的算法-梯度下降策略
qq_14815661的博客
06-26 500
原创文章,如需转载请保留出处 本博客为唐宇迪老师python数据分析与机器学习实战课程学习笔记 一. 梯度下降原理 1.1 梯度下降 1.2 原理 二. 梯度下降方法对比 2.1 梯度下降方法 批量梯度下降 随机梯度下降 小批量梯度下降 三. 学习率对结果的影响 ...
机器学习中常用的超参数调节
南洲.的博客
07-29 1876
网上看了一些机器学习调节参数的方法，此篇比较完善，转载以学习，链接：https://blog.csdn.net/d5224/article/details/72730714
使用梯度下降法的线性回归
It's You--MXL
07-30 204
目录1. 线性回归类2. 梯度下降法3. 使用过程3.1 导入数据3.2 分割为训练集和测试集3.3 数据归一化3.4 使用梯度下降法4. 补充 1. 线性回归类 class LinearRegression: def __init__(self): """初始化Linear Regression模型""" self.cofe_ = None #参数 self._theta[1:] self.intercept_ = None #截距 self._t
AI-梯度下降
L2350519620的博客
04-12 974
梯度下降 1 梯度下降原理概述 梯度下降法（gradient descent）是一个最优化算法，也称为最速下降法（steepest descent）核心公式为： （其中α为步长，也叫学习率） 2 梯度下降的理论解释 2.2.1 问题导入 如下图所示，假设左侧曲线为一个山坡，某人在A点，他被困在山上，需要从山上下来(找到山的最低点，也就是山谷I)。但此时山上的浓雾很大，导致可视度很低。因此，下山的路径就无法确定，他必须利用自己周围的信息去找到下山的路径。 2.2.2 问题分析 这个时候，他就可以利用梯度下降算
梯度下降法（Gradient Descent）
asacell的博客
11-20 1030
1 原理 在机器学习的核心内容就是把数据喂给一个人工设计的模型，然后让模型自动的“学习”，从而优化模型自身的各种参数，最终使得在某一组参数下该模型能够最佳的匹配该学习任务。那么这个“学习”的过程就是机器学习算法的关键。梯度下降法就是实现该“学习”过程的一种最常见的方式，尤其是在深度学习(神经网络)模型中，BP反向传播方法的核心就是对每层的权重参数不断使用梯度下降来进行优化。 梯度下降法(gradient descent)是一种常用的一阶(first-order)优化方法，是求解无约束优化问题最简单、最经
机器学习（二） 梯度下降法
Mekeater的博客
12-01 519
机器学习（二） 梯度下降法 前言： 在上篇博文机器学习（一）中，最后我们提到，通过计算代价函数J(Θ)是否收敛于最小值来确定假设函数的参数Θ，进而训练出机器学习中的线性回归算法，那么如何来找到使得J（Θ）最小话的参数Θ呢，本篇博文将介绍一种常用的方法，梯度下降法来确定参数Θ值。 一、对于单特征线性回归，梯度下降法的算法如下： repeat untile Θ no change { } 其中 α是...
机器学习之梯度与梯度下降法
不曾走远的博客
08-04 1万+
目录 1.导数 2.梯度 3.梯度下降法 4.梯度下降存在的问题 机器学习中，在求解损失函数的最小值时，需要用到求导数的各种技巧。 1.导数 导数的几何意义：导数又叫微分，是图像的斜率。 多元函数的偏导数 偏导数的几何意义 2.梯度 梯度的定义 来自百度：（梯度的本意是一个向量（矢量），表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着该...
深度学习中的超参数以及两个重要的超参数——学习率和batch_size
qq_30121457的博客
10-05 1万+
前言   在深度学习中有很多参数是我们在训练模型之前自己设定的，我们把这些参数就称为——超参数。其中主要超参数包括了:学习率、batch_size、梯度下降法循环的数量、隐藏层数目、隐藏层单元数目、激活函数的选择等。 1.超参数 2.学习率 3.batch_size 1.超参数 1.1 超参数的选择 如何选择最优的超参数对模型的性能起着非常重要的作用，下面提供了一些常用的选择超参数的方法:   1.猜测和检查：根据经验或直觉，选择参数，一直迭代。   2.网格搜索：让计算机尝试在一定范围内均匀分布的一组值
什么是 “超参数” ？
最新发布
gu20的专栏
03-21 559
（Hyperparameter）是机器学习模型在训练前人为设定的参数，用于控制模型的训练过程或结构，不能通过训练数据自动学习。例如，在训练神经网络时，通常需要手动尝试不同的学习率（如 0.1、0.01、0.001），或通过网格搜索（Grid Search）等方法找到最佳值。：迭代次数（Epochs）、批量大小（Batch Size）、正则化系数（如 λλ）、神经网络的层数/神经元数量等。在梯度下降算法中，学习率（通常表示为 αα）是一个典型的超参数，它决定了每次参数更新的步长。
随机梯度下降法介绍及其参数讲解
热门推荐
u013473512的博客
09-28 19万+
随机梯度下降法 算法介绍 简单来说，梯度下降就是从山顶找一条最短的路走到山脚最低的地方。但是因为选择方向的原因，我们找到的的最低点可能不是真正的最低点。如图所示，黑线标注的路线所指的方向并不是真正的地方。 既然是选择一个方向下山，那么这个方向怎么选？每次该怎么走？ 先说选方向，在算法中是以随机方式给出的，这也是造成有时候走不到真正最低点的原因。 如果选定了方向，以后每走一步，都是选择最陡的方向，直到最低点。 总结起来就一句话：随机选择一个方向，然后每次...
Python实现：梯度下降与牛顿法优化Rosenbrock函数实例
本篇文章主要探讨了机器学习的概念及其在Python中的应用实例，以Rosenbrock函数为例，通过梯度下降和牛顿法寻找最小值。首先，文章明确了机器学习的基本定义，强调了算法、经验和性能的重要性。机器学习过程通常涉及...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值