第一章：手把手教你透彻掌握线性回归算法

一、什么是线性非线性

线性关系是指两个变量之间的关系可以用一条直线来表示。比如一个函数y=a+bx

非线性是指两个变量之间的关系不能用一条直线来表示。

二、最优解

Actual value：真实值，即已知的 y。

Predicted value：预测值，是把已知的x带入到公式里面和猜出来的参数 a，b 计算得到的。

Error：误差，预测值和真实值的差距。

最优解：尽可能的找到一个模型使得整体的误差最小，整体的误差通常叫做损失 Loss。

Loss：整体的误差，loss 通过损失函数 loss function 计算得到。

三、多元线性回归

现实生活中，往往影响结果y的因素不止一个，这时x就从一个变成了n个，X1..Xn同时简单线性回归的公式也就不在适用了。

上图中，examples 就是已知的样本，examples 中包含X也包含Y，Y就是 outcome 已知结果，如果咱们有 m 条历史记录，就是有 m 条样本，也就是有m个Y值，或者说Y为包含 m 个值的一维向量。
同时每条样本的X从 X1到 Xn 有n个影响结果的因素,图中为了简化相当于 n=3 即有 3个影响结果的因素，在机器学习中，我们也会把影响结果的因素叫特征 feature，因为有多个所以图里就是 features,值得一提的是 X0 一列,是为了后面可以通过公式计算出截距项而加的，同时会把 X0 一列所有值设置恒为 1,这样 X 就是 m 行4列的二维数组即矩阵。图中ε代表 error 误差,每条样本预测的值和真实值之间都会有误差,所