机器学习之Gradient Descent（梯度下降）tips

最新推荐文章于 2024-09-18 15:15:46 发布
最新推荐文章于 2024-09-18 15:15:46 发布
阅读量193 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_42187809/article/details/88900601
本文介绍机器学习中的梯度下降算法，该算法作为机器学习第三步骤，旨在寻找最优函数以解决优化问题。通过设定损失函数并随机选取参数进行偏微分求解，逐步逼近目标参数。文章讨论了学习率设置及使用Adagrad等方法调整的问题，并提到了随机梯度下降等变种方法。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Gradient Descent （机器学习中的第三个步骤）
目标：找一个最好的函数来解决最优化问题（optimization problem）
（机器学习的第二步中，定了一个loss function（function的function）能评价找到的function有多不好）
我们首先随机选择loss fuction的参数，并求其偏微分，求得方向 逐步得到目标参数
在这个过程中 会出现一些问题

  1. learning rate的设置
    可用Adagrad
  2. Stochastic Descent（随机梯度下降）
    每看到一个样本就更新一次参数=》速度快
  3. Feature Scaling（特征缩放）

局限：卡在微分为0的地方
在这里插入图片描述

[机器学习] Gradient descent (Adagrad 、 SGD)
qq_27309515的博客
09-10 632
前言   这篇文章是李宏毅的《机器学习》课程的笔记，主要目的是让我自己梳理一遍课程的内容，加深理解，找到课上没弄懂的地方，并将新的知识点与我以前的一些认知结合起来。如有写错的地方或者理解有问题的地方希望能得到纠正，欢迎相关的问题。 正文   回顾在前面线性回归处使用的梯度下降来寻找损失函数 JJJ (或记为 LLL) 最小时的参数 θ\boldsymbol\thetaθ ，我们的目标函数是： θ∗=arg⁡min⁡θJ(θ) \boldsymbol \theta^*=\arg \min_{\boldsym
李宏毅机器学习入门学习笔记（三）Gradient Descent
DataScience成长之路
02-19 977
文章目录什么是Gradient Descent（梯度下降法）？Review: 梯度下降法Tip1：调整 learning rates（学习速率）小心翼翼地调整 learning rate自适应 learning rateAdagrad 算法Adagrad 是什么？Adagrad举例Adagrad 存在的矛盾？多参数下结论不一定成立Adagrad 进一步的解释Tip2：Stochastic Grad...
机器学习 -- Gradient Descent
01-30
Gradient Descent Review: Gradient Descent Tip 1: Tuning your learning rates Adaptive Learning Rates Adagrad Contradiction Intuitive Reason Larger gradient, larger steps
机器学习--梯度下降法（Gradient Descent）
YGQ_qq_1435471912
01-23 2774
目录1.概述2.梯度下降法2.1场景假设 1.概述 2.梯度下降法 2.1场景假设
#机器学习/梯度下降（Gradient Descent）
weixin_44336910的博客
12-09 219
在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一，另一种常用的方法是最小二乘法。这里就对梯度下降法做一个完整的总结。 1.梯度 众所周知，在微积分里面，对多元函数的参数求∂偏导数，把求得的各个参数的偏导数以向量的形式写出来，就是梯度。在向量微积分中，梯度（gradient）是一种关于多元导数的概括。平常的一元（单变量）函数的导数是标...
机器学习学习笔记——1.1.1.6.6 Running gradient descent（运行梯度下降）
最新发布
预见未来to50的专栏
09-18 519
批量梯度下降这个词指的是在梯度下降的每一步，我们都在查看所有训练样本，而不是仅仅查看训练数据的一个子集。例如，如果你朋友的房子大小是1250平方英尺，你现在可以读出价值并预测他们可能得到的价格，我不知道，可能是250,000美元。你也可以多次参加测验，直到你得到你想要的分数。下周，我们将学习如何使线性回归变得更加强大，而不是像房子的大小这样的单一特征，你将学习如何让它与许多特征一起工作。现在，如果我们使用梯度下降迈出一步，我们从成本函数的这一点移动到右边下方的另一点，并注意到直线拟合也改变了一点。
【李宏毅机器学习笔记】3、gradient descent
ACL_lihan的博客
02-04 1493
【李宏毅机器学习笔记】1、回归问题（Regression） 【李宏毅机器学习笔记】2、error产生自哪里？ 【李宏毅机器学习笔记】3、gradient descent ------------------------------------------------------------------------------------------------------ 【李宏毅深度强化...
梯度下降(Gradient Descent)吴恩达老师课程笔记
qq_71173859的博客
02-01 1015
假设现在有代价函数J，参数为w和b，我们想要得到的是J的最小值以及此时的w和b，按照上一篇学习的，J（w，b）是线性回归的代价函数，但是事实上梯度下降是可以用来尝试最小化任何函数，不仅仅是线性回归的成本函数，它也可以适用于有更多的参数的代价函数。比如现在有一个函数，，梯度下降也是可以用来尝试找到一组使得J值最小。
梯度下降及其弊端
weixin_37140379的博客
12-01 4502
深夜博客又开始熬鸡汤了，这次鸡汤熬的是梯度下降！ 不废话了，直接主题 什么是梯度下降 有这么一个比喻，现在有一座山，而你处在山顶要以最快的速度走到山脚，在步长固定的情况下，每一次应该选择往最峭的方向走(也就是坡度最大)。 参数优化的过程类似于下山的过程，初始化权值(weights)Θ是有一串随机数组成的向量，毫无疑问这时候预测值与真实值的loss(误差)会比较大...
梯度下降、随机梯度下降法、及其改进
my_god2008的博客
12-18 789
GD, SGD, batch GD 改进算法：momentum, ADAM, etc
机器学习---Gradient descent Algorithm
翔哥哥的博客
03-24 758
前言 从寒假入门机器学习开始，陆陆续续的看了很多期吴恩达教授的视频，回到学校后决定继续这门课程的学习，这也是我的兴趣所在，也算当作对自己未来的风向标和考研之余对专业学习的深入研究。 接下来我将对教授在所讲授课程中梯度下降及之前的内容进行总结 概念 1.机器学习的定义： 一个程序被认为能从经验E中学习，解决任务T，达到性能度量值P，当且仅当，有了经验E后，经过P评判，程序处在处理T时的性能有所提升。—Tom Mitchell 分析：以前听说过自动驾驶汽车的训练方法，是汽车在计算机的指挥下经过不同的尝试，每一次
机器学习[李宏毅]-笔记4-Gradient Descent
greenmoss的博客
08-22 305
目录
Coursera 机器学习 -- Gradient Descent 笔记【第一周】
melody_sy博客
03-08 525
Gradient Descent(梯度下降算法) ————————本章讲的是数学上的定义———————————- 首先来看一张图： 可以把这个图看成一个山，如果我想要下山，我的小碎步应该从那个方向下山？看看周围，会自己找到下山的最佳路线，重复以上动作，你会以最快的速度下山。直到局部最低点。这则是梯度下降的生动比喻。 这种算法有个有趣的点，如果我们初始化的时候向右边移动一点点，会发现另一...
机器学习-梯度下降Gradient Descent
weixin_43367756的博客
07-26 1006
梯度下降是一种优化算法，用于最小化各种机器学习算法中的成本函数。它主要用于更新学习模型的参数。梯度下降类型有三种，分别为批量梯度下降、随机梯度下降和小批量梯度下降。
李宏毅机器学习之Gradient Descent
Trony的博客
03-14 216
一、Review：梯度下降法 在之前回归问题第三步中，需要解决下面最优化的问题：L：lossfunction（损失函数） ：parameters（参数） 这里parameters是复数，即指代一堆参数，比如前面说到的w和b 我们需要找到一组参数，让损失函数越小越好，这个问题可以用梯度下降来解决： 假设中有两个参数和随机选取初始值，然后分别计算初始值点处，两个参数对L的偏微分，然后减掉乘上偏微分的值，得到一组新的参数。同理反复进行这样的计算，黄色部分为简洁写法，叫做learning r
李宏毅机器学习 Gradient Descent
herosunly的博客
05-20 5521
  在给定的函数空间中求解最佳函数，本质上是一个最优化问题，即求损失函数最小值对应的参数，然后将参数对应得到最佳函数。一种方法是解析解，但在机器学习中更加常用的是利用梯度下降求最小值。   如果大家想更加深入的学习梯度下降的相关内容，建议大家学习paper，标题为An overview of gradient descent optimization algorithms，下载地址为 https:...
机器学习笔记（一）梯度下降的理解gradient descent
weixin_43231021的博客
03-14 619
一、一元函数的梯度下降 泰勒展开式： 为了方便计算，只取： **二、一元二次方程得出最优值 同理 三、直接用g(△x)的导数g’(△x)得出最优值
机器学习中梯度下降（Gradient Descent）的来龙去脉(第一部分)
u013080804的博客
06-13 3484
这篇博客主要是想介绍一下自己对梯度下降的理解，自己在以往学习过程中陷入了两个误区。 误区1：不求甚解，只是知道梯度下降是用来参数调优的一种方法。 误区2：死钻牛角尖，陷入梯度下降的数学过程中无法自拔。 前些日自己重新梳理了一下这部分内容，又学习了一下台湾李宏毅老师的视频课程，茅塞顿开，因此在这里做一下整理，和大家一起讨论。 既然想讲介绍的是梯度下降的来龙去脉，我将从以下角度展...
梯度下降法详解 笔记
Lu君的博客
01-23 944
梯度下降法详解 笔记 梯度下降法 Gradient descent algorithm θt+1=θt−α•g\theta^{t+1}=\theta^{t}-\alpha • gθt+1=θt−α•g α\alphaα : 学习效率数字 (learning rate) 用来控制梯度下降时，函数下降的速度。α\alphaα越大梯度下降越迅速，α\alphaα越小下降缓慢。 If α\alphaα ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值