机器学习---线性回归、多元线性回归、代价函数

1. 线性回归

回归属于有监督学习中的一种方法。该方法的核心思想是从连续型统计数据中得到数学模型，然后

将该数学模型用于预测或者分类。该方法处理的数据可以是多维的。

回归是由达尔文的表兄弟Francis Galton发明的。Galton于1877年完成了第一次回归预测，目的是

根据上一代豌豆的种子（双亲）的尺寸来预测下一代豌豆种子（孩子）的尺寸（身高）。Galton在

大量对象上应用了回归分析，甚至包括人的身高。他得到的结论是：如果双亲的高度比平均高度

高，他们的子女也倾向于平均身高但尚不及双亲，这里就可以表述为：孩子的身高向着平均身高回

归。Galton在多项研究上都注意到了这一点，并将此研究方法称为回归。

比如：有一个房屋销售的数据如下

如果来了一个新的面积，假设在销售价钱的记录中没有的，怎么处理？

解决方法：用一条曲线去尽量准的拟合这些数据，然后如果有新的输入过来，我们可以在将曲线上

这个点对应的值返回。如果用一条直线去拟合，可能是下面的样子：

常用概念和符号：

房屋销售记录表：训练集（training set）或者训练数据（training data），是我们流