吴恩达机器学习系列课程笔记——第四章：多变量线性回归(Linear Regression with Multiple Variables)

本文链接：https://blog.youkuaiyun.com/weixin_43895667/article/details/125820673

本系列内容介绍了多变量线性回归模型的构建，包括特征向量、参数更新和梯度下降算法。讲解了特征缩放对梯度下降收敛速度的影响，强调了保持特征尺度一致的重要性。此外，还探讨了学习率的选择，以及正规方程作为求解线性回归参数的解析方法，指出在特征数量不大时正规方程的优势。内容涵盖了从模型建立到优化的多个关键步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

4.1 多维特征

https://www.bilibili.com/video/BV164411b7dx?p=18

目前为止，我们探讨了单变量/特征的回归模型，现在我们对房价模型增加更多的特征，例如房间数、楼层、楼屋年限等，构成一个含有多个变量的模型，模型中的特征为(x1,x2,…,xn)。

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-IWHrcjmf-1657956978541)(C:\Users\admin\AppData\Roaming\Typora\typora-user-images\image-20220714164733753.png)]$

增添更多特征后，我们引入一系列新的注释：

n 代表特征的数量

x(i)代表第 i 个训练实例，是特征矩阵中的第i行，是一个**向量**（**vector**）。
比方说，上图的，x(2)=[14163240]

xj(i)代表特征矩阵中第 i 行的第 j 个特征，也就是第 i 个训练实例的第 j 个特征。
如上图的x2(2)=3,x3(2)=2

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-OwrOLqut-1657956978543)(C:\Users\admin\AppData\Roaming\Typora\typora-user-images\image-20220714164759443.png)]$

支持多变量的假设 h 表示为：hθ(x)=θ0+θ1x1+θ2x2+…+θnxn，

这个公式中有n+1个参数和n个变量，为了使得公式能够简化一些，引入x0=1，这样就有n+1个参数和n+1个变量，只是以后我们都固定设x0=1，则公式转化为：hθ(x)=θ0x0+θ1x1+θ2x2+…+θnxn

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-JeCS1FRc-1657956978544)(C:\Users\admin\AppData\Roaming\Typora\typora-user-images\image-20220714164950177.png)]$

此时模型中的参数是一个n+1维的向量，任何一个训练实例也都是n+1维的向量，特征矩阵X的维度是 m∗(n+1)。因此公式可以简化为：hθ(x)=θT × X，其中上标T代表矩阵转置。

4.2 多变量梯度下降

https://www.bilibili.com/video/BV164411b7dx?p=19

与单变量线性回归类似，在多变量线性回归中，我们也构建一个代价函数，则这个代价函数是所有建模误差的平方和，即：

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-qONQD8W8-1657956978545)(C:\Users\admin\AppData\Roaming\Typora\typora-user-images\image-20220714165843545.png)]$

其中：

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-HoSHwtGB-1657956978545)(C:\Users\admin\AppData\Roaming\Typora\typora-user-images\image-20220714165857348.png)]$

我们的目标和单变量线性回归问题中一样，是要找出使得代价函数最小的一系列参数。多变量线性回归的批量梯度下降算法为：

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-W1hZSi8n-1657956978546)(C:\Users\admin\AppData\Roaming\Typora\typora-user-images\image-20220714170006193.png)]$