Coursera-吴恩达-机器学习-（第2周笔记）Linear Regression with Multiple Variables

最新推荐文章于 2022-02-04 16:23:56 发布

九方先生

最新推荐文章于 2022-02-04 16:23:56 发布

阅读量1.3k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： Coursera机器学习文章标签：机器学习 Coursera 多元线性模型正规方程 octave

本文链接：https://blog.youkuaiyun.com/malele4th/article/details/79037549

Coursera机器学习专栏收录该内容

11 篇文章

订阅专栏

本文介绍了Coursera上Andrew Ng的机器学习课程第二周的内容，涵盖了多元线性回归的基础概念，包括多元方程、代价函数与梯度下降、特征缩放及多项式回归等。此外还介绍了正规方程及其与梯度下降法的区别。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

此系列为 Coursera 网站Andrew Ng机器学习课程个人学习笔记（仅供参考）
课程网址：https://www.coursera.org/learn/machine-learning

Week 2 —— Linear Regression with Multiple Variables and Octave/Matlab Tutorial

一多元线性回归

1-1 多元方程

多元线性回归指的就是有多个X的情况。比如与房价y有关的变量有：房屋面积x1，位置x2。

此时，我们就要把我们的方程 hθ(x)=θ0+θ1∗x 修改为：

hθ(x)=θ0+θ1x1+θ2x2+⋯+θnxn

其实本质并没有变，就是变量x多了，所以参数θ也跟着多了。但是思想还是没有变：通过误差函数，经过梯度下降求参数。

为了结构统一，我们设 x0=1 ；此时方程应为：

hθ(x)=θ0+θ1x1+θ2x2+⋯+θnxn=θTx

如此一来，便将变量向量化了。也变得和第一章的一样了。

1-2 代价函数与梯度下降

这里写图片描述
梯度下降的方法也没有变，重复直到即可。

其中α的选择与第1周一样:

如果α太小，则收敛速度慢。
如果α太大：每次迭代都不会减少，因此可能不会收敛

在这里，我先区分一下几个在后面的学习中容易混乱的概念：

batchsize：批大小，在深度学习中，一般采用SGD训练，即每次训练在训练集中取batchsize个样本训练；
iteration： 1个iteration等于使用batchsize个样本训练一次；
epoch： 1个epoch等于使用训练集中的全部样本训练一次；

需要注意的是，对于不同的问题，梯度下降收敛所需的迭代次数也不同。我们很难确定地说出在第几次迭代算法收敛，因此，我们常常需要J(θ)随迭代次数变化的曲线图帮忙判断。

自动收敛测试（Automatic convergence test）

除了可以根据如上所述的J(θ)随迭代次数变化曲线判断是否收敛外，还可以进行自动收敛测试，即给定一个合适的较小值ε，例如0.001，如果在一次迭代后J(θ)减小到小于ε，则认为梯度下降收敛了

1-3 特征约简

当两种变量数值维度相差过大的时候，梯度下降法会迭代得很慢，比如房屋面积X1都是100多平米，楼层都是1、2、3这样的数字，两种特征就相差很大。

在这种情况下，我们可以通过使每个输入值在大致相同的范围内来加速梯度下降。（−1 ≤ x(i) ≤ 1）

课程介绍了两种方式：

1.特征缩放
2.均值归一化

特征缩放
就是将数字除以最大的数，比如100
均值归一化

均值归一化不需要太精确（即到底取标准差还是取值范围或者纠结于取某个固定值），其目的只是为了让梯度下降算法收敛速度更快。

1-4 多项式回归

有些时候，直线并不能很好的拟合数据。有些时候各种曲线反而更好。比如：
这里写图片描述
在这种时候，除了线性回归外（图像是直线），我们也能采用多项式回归（图像是曲线）。我们的解决办法是设变量，举例如下假设函数：

在上述例子中，除了选择三次函数模型，我们还有其他合理的选择，例如平方根函数：
这里写图片描述
只要能够通过设计不同的特征，取得更好的拟合效果就行。在之后的学习中我们会介绍一些算法可以帮助你自动选择合理有效的特征。

二正规方程

除了梯度下降法，另一种求最小值的方式则是让代价函数导数为0，求θ值。即：
这里写图片描述

2-1 正规方程推导

$\theta=(X^TX)^{-1}X^Ty$

给出其中一种推导，如下：
（1）在做拟合时，我们希望假设函数 $H_\theta(x)$ 与真实输出y是尽量一致的，因此 $H_\theta(x)=Y$

通过 $\frac{\partial}{\partial\theta_j}J(\theta)=0,$ 即 $(h_\theta(x)-y)x_j=0$ 也可以得出 $H_\theta(x)=Y$

（2）假设函数 $H_\theta(x)=\theta_0+\theta_1x_1+\theta_2x_2+...+\theta_nx_n=X\theta$

其中：

$X = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ 11 ⋮ 1 x (1) 1 x (2) 1 ⋮ x (m) 1 \dots \dots ⋱ \dots x (1) n x (2) n ⋮ x (m) n ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥, Y = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ y (1) 1 y (2) 1 ⋮ y (m) 1 ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥, θ = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ θ 0 θ 1 ⋮ θ n ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ (1)$ $\begin{equation} X={\left[ \begin{array}{ccc} 1 & x^{(1)}_1 & \cdots & x^{(1)}_n \\ 1 & x^{(2)}_1 & \cdots & x^{(2)}_n \\ \vdots & \vdots & \ddots & \vdots \\ 1 & x^{(m)}_1 & \cdots & x^{(m)}_n \\ \end{array} \right ]}, Y={\left[ \begin{array}{ccc} y^{(1)}_1 \\ y^{(2)}_1 \\ \vdots \\ y^{(m)}_1 \\ \end{array} \right ]}, \theta={\left[ \begin{array}{ccc} \theta_0 \\ \theta_1 \\ \vdots \\ \theta_n \\ \end{array} \right ]} \end{equation}$

（3）由(1)(2)我们可知， $H_\theta(x)=X\theta=Y$

要想求得 $\theta$ ，则X必须是可逆的，而只有方阵才存在可逆矩阵

所以需要凑方阵， $X^TX\theta=X^TY$

则 $\theta=(X^TX)^{-1}X^TY$

（4）对于 $(X^TX)^{-1}是否存在$ ， $(X^TX)^{-1}$ 不存在的情况是极少的

若 $(X^TX)$ 不可逆，则需要考虑以下两个方面：

① 存在多余的特征，即存在特征变量之间是线性相关的。
针对这种情况，可删除一些特征变量直至特征变量之间没有互相线性相关的特征存在。
② 特征变量太多(e.g. m⩽n)
针对这种情况，可删除一些特征变量或使用正则化（regularization）的方法使得即使只有很小的训练集(m很小)，也能找到适合很多特征的θ值，后面我们会介绍正则化（regularization）。