吴恩达 机器学习笔记二（lecture 2）（损失函数、梯度下降）

最新推荐文章于 2025-01-13 23:09:50 发布
最新推荐文章于 2025-01-13 23:09:50 发布
阅读量3.4k 收藏 6
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 吴恩达ML 文章标签： 人工智能 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/cheneykl/article/details/78604909
本文介绍了单变量线性回归模型及最常用的平方误差损失函数。通过探讨梯度下降法，包括梯度的概念、算法原理以及优化策略，阐述如何找到损失函数的最小值。虽然梯度下降可能找到局部最优解，但在凸函数情况下能得全局最优。内容还涵盖了步长选择、初始值影响及特征数据归一化等调优技巧。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >


一、单变量的LR模型


 最简单的单变量线性回归模型：



二、损失函数（cost function）


在这个例子中使用的是平方误差函数最为损失函数，这是解决线性回归问题最常用的损失函数



1、假设函数和损失函数之间的关系



先考虑θ₀=0的情况：当θ₁ = 1时，损失函数取最小值



θ₀不知道时，两个参数，对应的损失函数的图像如下：是一个三维图像。与上面例子类似，都是找到损失函数值最小时候的参数值。

最低0.47元/天 解锁文章

200万优质内容无限畅学
梯度与损失函数关系
qq_26181163的博客
04-30 1449
梯度与损失函数关系 ''' 在神经网络中，寻找最优参数（权重和偏置）时，要寻找使损失函数的值尽可能小的参数。为了找到使损失函数的值尽可能小的地方，需要计算参数的导数（确切讲是梯度） 然后以这个导数为指引，逐步更新参数的值。当导数值为0时无论怎么样改变权重参数项那个方向变化，损失函数的值都不会发生改变，此时权重更新会停止在此处。所以激活 函数不能是阶跃函数，因为阶跃函数的大部分导数为0，神经网络的学习将无法进行。激活函数最好是连续变化的曲线， ''' #利用中心差分求导数（中心差分可以减小误差） def nu
吴恩达 机器学习笔记四（lecture 4）(多特征值，梯度下降与Normal equation)
11-25 1894
线性回归处理多个特征值（Linear Regression with multiple variables） 1、多特征值线性回归的假设函数形式 2、梯度下降 3、标准方程法（Normal equation） 4、梯度下降和Normal equation的比较 假设
机器学习算法中的假设函数与损失函数以及梯度
u013713117的专栏
01-01 6555
线性回归： 假设函数 hθ(x)=θTxh_\theta(x)=\theta^Tx 损失函数 J(θ)=12∑mi=0(hθ(xi)−yi)2+\lamda∑J(\theta)=\frac{1}{2}\sum_{i=0}^m(h_\theta(x^i)-y^i)^2+\lamda \sum 梯度 θj:=\lamda\theta_j:=\lamda
（吴恩达笔记 1-3）——损失函数及梯度下降
热门推荐
灰羽
08-10 3万+
本节将直观的说明一下损失函数是用来干嘛的，为什么会用损失函数。其中内容参考自吴恩达讲学视频字幕及截图。 1、损失函数(loss function)损失函数(loss function)或代价函数(cost function)来度量预测错误程度也就是说，对于一个机器学习算法，如何评价一个算法是否是比较好的算法，需要提前定义一个损失函数，来判断这个算法是否是最优的，而后面不断的优化求梯度下降，使得损失
梯度和梯度损失
weixin_45594172的博客
03-03 1068
因此，梯度在图像融合任务中起着重要作用，帮助模型学习更好地生成具有边缘和纹理信息的融合图像。梯度主要用于计算图像融合过程中的梯度损失，对应的损失函数是梯度损失（
【深度学习】(4) 梯度下降、损失函数
博观而约取，厚积而薄发
12-05 3316
各位同学好，今天和大家介绍一下TensorFlow2.0中的梯度下降、激活函数及其梯度、损失函数及其梯度。 (1) 梯度计算：GradientTape()，tape.watch()，tape.gradient() (2) 损失函数及其梯度：MSE：tf.reduce_mean(tf.losses.MSE())，交叉熵：tf.losses.categorical_crossentropy() 1. 梯度下降 1.1 自动求导函数： GradientTape(persistent=False, wat
吴恩达机器学习笔记：从基础到应用
本笔记主要涵盖了吴恩达教授在斯坦福大学的机器学习课程内容，包括了机器学习的基本概念、几种核心的学习方法以及线性回归的具体应用。首先，我们从Lecture1开始，机器学习被定义为计算机程序通过经验E（训练数据）...
吴恩达 机器学习笔记七（lecture 7）（正则化Regularization）
12-01 4751
正则化 Regularization 1、过拟合 overfitting eg1:线性回归 图一：欠拟合，高偏差 图三：过拟合，高方差（一般在变量很多的时候发生，这种时候训练出的方程总能很好拟合训练数据，但是对于新的样本数据不能体现出很好的繁华能力）
Machine Learning - Coursera 吴恩达机器学习教程 Week4 学习笔记
zhang35的博客
02-04 1366
背景 当目标函数非线性时（比如下图明显需要一条曲线），就需要增加高次项来获得曲线，当特征数量比较多时，增加高次项会使特征数量爆炸式增长。 比如图像识别问题，对50 * 50像素的图像，如果将每个像素作为特征，增加二次特征就会产生约3 * 10 ^ 6个特征（C22500 = 2500 * 2499 / 2） 这种情况下，若要使用普通逻辑回归学习所有特征，计算量就过大了。 此时用神经网络学习这种复杂的非线性假设函数，就比较合适了。 神经网络 首先学习几个术语： dendrite: 树突（输入） cell
损失与梯度与回传
godme
04-06 3606
损失函数 开始的时候的，我觉得梯度最重要，但是都在强调损失函数。 损失意估量预测与真实之间的差距 梯度是缩小预测与真实之间的方向 刚开始学习，损失函数的确比较死板，反倒是梯度给予我们更大的进步的感觉，因为计算是沿着梯度的进行的。 不过，为什么损失函数会比梯度更受追捧呢？ 因为损失是灵活的，真正死板的，反而是梯度。 梯度下降 对于函数：G(H(F(x)))G(H(F(x)))G(H(F(x)))...
LSTM的公式推导详解.pdf
11-19
LSTM的公式推导详解, 一篇很好的解释长短时记忆神经网络的文章
梯度下降，损失函数，代价函数，假设函数
outsider
10-03 843
梯度下降涉及到的一些东西： 梯度下降 https://www.cnblogs.com/pinard/p/5970503.html 损失函数，代价函数，假设函数 https://blog.youkuaiyun.com/lyl771857509/article/details/79428475 常用损失函数 https://blog.youkuaiyun.com/u010976453/article/detail...
梯度下降与损失函数的基础知识
刘文凯的博客
11-27 2059
预测误差敏感性（Sensitivity to Prediction Errors）：损失函数应该对预测误差敏感，即当预测结果与真实值之间的差异较大时，损失函数的值应该相应增加。损失函数（Loss Function）是在机器学习和优化问题中使用的一个函数，用于衡量模型预测结果与真实值之间的差异或误差。损失函数的选择是根据具体问题和任务的特点而定，不同的问题可能需要不同的损失函数。学习率决定了每次参数更新的步长，过大的学习率可能导致参数在损失函数的最小值附近来回震荡，过小的学习率则可能导致收敛速度过慢。
机器视觉4-损失函数与梯度计算
最新发布
qq_41810539的博客
01-13 1499
对示例样本，分类器1与分类器2的分类谁的效果更好?如何定量衡量分类器的性能？确定一个函数来衡量即损失函数超参数是在机器学习算法运行前需要人为设定的参数，它们不能通过训练数据来学习得到，而是需要通过经验、试错或特定的调参方法来确定。超参数是在机器学习算法运行前需要人为设定的参数，它们不能通过训练数据来学习得到，而是需要通过经验、试错或特定的调参方法来确定。参数优化是机器学习的核心步骤之一，它利用损发函数的输出值作为反馈信号来调整分类器参数，以提升分类器对训练样本的预测性能。
损失函数和梯度下降
qq_43521665的博客
03-12 2215
前提： 前向传播经过若干个神经元，再经过激活函数，最终得到结果，然后输出损失函数，根据损失函数再进行反向传播，及传递梯度，调整权重。 并不是根据激活偶函数输出直接返回梯度值，而是在计算损失函数的基础上进行反向传播梯度。更多的是按照小批量的处理，累计梯度求平均值，最后进行梯度下降。 损失函数二分类函数 svm和折叶损失：举例：用一个例子演示公式是如何计算的。假设有3个分类，并且得到了分值 s=[13,-7,11] 。其中第一个类别是正确类别，即yi​=0 。同时假设Δ 是10（后面会详细介绍该超参数）。上
深度学习与神经网络（一）：梯度 & 损失函数
hxxjxw的博客
05-10 4738
激活函数 f(x) = wx+b 响应值并不是一个线性的输出——这句话是什么意思呢 当响应值的和小于某个值的时候，青蛙不会响应，大于某个阈值的时候，青蛙会输出一个固定的响应值 所以，依据青蛙的机制，提出了一个阈值函数 神经元机制不是简单的各个输入的加权求和，有一个阈值响应机制，需要大于某个阈值的时候才会输出，而且输出的电平是固定的 激活函数的激活的意思就是，z变量必须大于0，我这个神经元节点...
算法基础知识-梯度，损失函数，目标函数
cyqyong的专栏
01-25 3203
1.梯度 梯度是一个向量(矢量)，它的数学含义是函数f(x,y)在可导处的变化速率，梯度越小，表示函数越趋近与某个最小极值。所以在机器学习算法中，通过梯度下降算法来对函数进行调优。 2.损失函数-Loss-Function 损失函数是衡量样本平均误差相关的函数，损失函数的数学意义是衡量模型输入与输出之间的误差值大小的函数。模型训练的目标就是求出使得损失函数取值最小的时候的模型参数。 损失函数是用来评价模型预测结果与真实结果之间的一致程度的。模型训练的过程就是通过损失函数更新模型参数使得损失函数的值下
ML之ME/LF：机器学习中常见模型评估指标/损失函数(LiR损失、L1损失、L2损失、Logistic损失)求梯度/求导、案例应用之详细攻略
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
04-11 6890
​ ML之ME/LF：机器学习中常见模型评估指标/损失函数(LiR损失、L1损失、L2损失、Logistic损失)求梯度/求导、案例应用之详细攻略 目录 常见损失函数求梯度案例 1、线性回归求梯度 2、L2损失函数梯度 3、L1正则函数梯度 4、Logistic损失梯度 常见损失函数求梯度案例 1、线性回归求梯度 2、L2损失函数梯度 3、L1正则函数梯度 4、Logistic损失梯度 对Logistic回归 ​
深度学习（二）-损失函数+梯度下降
weixin_40198632的博客
09-02 1985
损失函数（Loss Function），也有称之为代价函数（Cost Function），用来度量预测值和实际值之间的差异。损失函数的作用度量决策函数f（x）和实际值之间的差异。作为模型性能参考。损失函数值越小，说明预测输出和实际结果（也称期望 输出）之间的差值就越小，也就说明我们构建的模型越好。学习的过程，就 是不断通过训练数据进行预测，不断调整预测输出与实际输出差异，使的损失值最小的过程。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值