机器学习(3)——多变量线性回归

本文介绍了多变量线性回归模型的基本概念,包括如何通过多个输入变量预测单一连续型输出变量的方法。文中详细阐述了模型的构建过程,代价函数的概念及其优化方法——梯度下降法,并介绍了梯度下降过程中特征缩放的重要性以及学习率的选择技巧。此外,还讨论了正规方程求解最佳参数θ的有效方式。

【一、多变量线性回归模型】

多变量线性回归是指输入为多维特征的情况。比如:

这里写图片描写叙述
在上图中可看出房子的价格price由四个变量(size、number of bedrooms、number of floors 、age of home)决定。为了能够预測给定条件(四个变量)下的房子的价格(y),我们须要建立对应的线性回归模型。

如果有n个变量,则对应的多变量线性回归模型例如以下:

这里写图片描写叙述

注意上图中的x是指一个训练样本,即每一个训练样本都是一个(n+1)维向量(包括附加的x0=1)

【二、代价函数】

多变量线性回归的代价函数例如以下:
这里写图片描写叙述
当中x(i)代表第i个样本

【三、梯度下降法寻找最佳theta】

这里写图片描写叙述
以下列出单变量线性回归梯度下降法(左)多变量线性回归梯度下降法(右)
这里写图片描写叙述
当中α为学习率。

【梯度下降法的两个细节处理】:
1. Feature Normalization

By looking at the values, note that house sizes are about 1000 times the number of bedrooms. When features differ by orders of magnitude, first performing feature scaling can make gradient descent converge much more quickly。

也就是说当特征之间相差非常大时。比如房子的大小与卧室的数量。这样会导致梯度下降收敛比較慢。例如以下图(左边)所看到的,当对特征进行正规后,梯度下降收敛变快,例如以下图(右边)所看到的。


这里写图片描写叙述
正规化方法能够使用mean value and the standard deviation 法。或者其它方法。
这里写图片描写叙述
2. Selecting learning rates

学习率的正确选择应该保证每一步迭代后cost function都是下降的。例如以下图所看到的:

这里写图片描写叙述
如果学习率α过大,可能会使得代价函数上升,而不是一直呈现下降趋势。例如以下图。


这里写图片描写叙述
可是学习率α过小,那个梯度下降的收敛速度会太慢。

【选取学习率的方法】
这里写图片描写叙述

【四、正规方程解最佳theta】

这里写图片描写叙述

这里写图片描写叙述 。j=0,1,…………n

这里写图片描写叙述

这里写图片描写叙述
注意出现下列情况时:

这里写图片描写叙述

这时能够进行冗余feature的删除

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值