单变量线性回归就是从一个输入值预测一个输出值。输入/输出关系是一个线性函数。
模型表示:
我们用一个根据房屋尺寸预测房屋售价的例子开始。
假设有一个数据集,我们称作训练集,如下表所示
我们用来描述回归问题的标记如下:
m 代表训练集中实例的数量
x 代表特征/输入变量
y 代表目标变量/输出变量
(x,y) 代表训练集中的实例
h 代表学习算法的函数也称为假设(hypothesis)
然后我们看一下监督学习的工作方式
我们把训练集(房屋尺寸)作为输入喂给学习算法,学习算法训练后输出一个函数
(h),通过这个函数我们可以预测房屋售价。
假设房屋尺寸与房屋售价是线性关系,我们假设函数(hypothesis function)为
,因为只有一个特征/输入变量,所以这样的问题叫做单变量线性回归问题。
代价函数(cost function):
现在我们有了假设函数,接下来要做的就是选择合适的参数(parameter)
Θ。
我们的目标是用假设函数进行预测,因此
要最接近
y
因此我们引出代价函数(cost function)也叫平方误差代价函数:
,其中½是为了接下来的计算方便。
我们的目标就是找出
和
使得代价函数
最