线性回归

一、线性回归的一般形式

监督学习的主要任务是分类和回归，而线性回归是最简单的一种回归方式。

线性回归是要解决上面的问题，对于给定房子的面积如何来预测房子的价格。根据数据分布的特点，我们很自然的想到，如果能找到一条直线。这条直线在这些数据上表现好，那么它就能完成对于未知数据的预测。很自然我们假设的直线应该是下面的样子。

 其中，Θ是参数

为了衡量我们假设函数的好坏，还需要引进损失函数来评估函数的预测与真实值之间的差异，通常我们的第一反应是用绝对值来衡量差异，但是绝对值函数在优化的时候会比较麻烦，需要讨论大于零或者小于零，于是我们采用平方差来衡量误差，这样会比较方便，公式如下：

现在，我们有了损失函数，有了假设函数，就剩下一个问题还没有解决。如何求解我们的参数值，这里用的是梯度下降法。如下：