coursera 吴恩达 第二周

本文探讨了机器学习中线性回归的多种方法,包括多项式回归、特征缩放、正规方程等,以及梯度下降算法的优化策略。通过理解和应用这些技术,可以有效地解决数据拟合问题。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1.Multiple Features

当有多个特征值的时候:

这时候,我们的假设函数应修改为

h_{\theta }(x)=\theta _{0}+\theta _{1}x_{1}+\theta _{2}x_{2}+\theta _{3}x_{3}+\theta _{4}x_{4}

为了结构统一,我们假设 x_{0}=1

h_{\theta }(x)=\theta _{0}x_{0}+\theta _{1}x_{1}+\theta _{2}x_{2}+\theta _{3}x_{3}+\theta _{4}x_{4}

è¿éåå¾çæè¿°

这样子,变量就向量化了。注意x和theta都是n+1维向量。

新的梯度下降算法:

Feature Scaling(特征缩放)

如果特征值的范围大小相差太大,那么用梯度下降会面临很糟糕的情况,想象一下,如果只有theta0和theta1,这两个变量的取值范围相差1000倍,那么最终画出来的代价函数J的轮廓图,会呈现出一种非常偏斜,瘦长的形状,如果用这个代价函数来运行梯度下降的话,最终可能会花费大量时间才收敛到全局最小值。因此我们想到了特征缩放做法。

α 学习速率(Learning’rate)

  1. 如果 α 太小,则梯度下降法会收敛缓慢
  2. 如果 α 太大,则梯度下降法每次迭代可能不下降,最终导致不收敛

Features and polynomial regression

除了线性回归外,我们也能采用多项式回归

我们可以将多个特性组合成一个,比如X1,X2,组合成一个新特性X3,方法是X3=X1*X2。

如果多项式回归不能很好地拟合数据,我们的假设函数不必是线性的,我们可以将假设函数变成二次函数、三次函数、平方根函数或任何其他形式。

正规方程(Normal Equation)

对于某些线性回归问题 ,给出了一个更好的方法求出参数 θ 的最优解。具体而言,到目前为止,我们一直在使用的线性回归的法是梯度下降法 就是说 为了最小化代价函数 J(θ),我们使用的迭代算法需要过多次迭代来收敛到全局最小地 正规方程法提供了一种求θ 的解析解法所以与其使用迭代算法,我们可以直接一次性求解θ的最优值。我们把J(θ)看作拥有n+1维参数θ的函数,为了使J(θ)最小,我们可以利用微积分原理,当导数为0时求得J得最小值。

因为J的参数是多维的,我们需要从θ0到θm挨个求偏导,使其为0,这样会求出一组θ0到θm的值使J最小。

下面是一个例子:

这里注意每个 X^{^{(i)}} 展开写的x^{(0)}x^{(1)}x^{(2)}x^{(3)}x^{(4)},,,其中x^{(0)}是我们手动添加的,值为1!!!!!

对于 (X^{T}X)不可逆的情况下,(利用线性代数知识,什么情况不可逆呢?找出原因)我们可以采取减少特征量和使用正规化方式来改善。

下面是梯度下降和正规方程的比价:

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值