西瓜书笔记（3.线性模型）（更新中）

对于数据项 S = [x1,x2,x3,x4,x5……xn]，

线性模型学习其有关f(x) = k1*x1 + k2*x2 + …… +kn*xn + b 的线性函数模型

线性模型找出相对的[k1,k2,k3……kn] 和 b 来确定函数，然后就可以通过函数预测值

---------------------------------------------------------------------------------------------------------------------------------

一元线性回归：

对于最简单的数据集 D = {(x1,y2),(x2,y2),……,(xn,yn)}，我们要找到一个函数 f(x) = wx + b，f(x)逼近y。

那么如何判断w,b的取值与y的误差？

可以使用均方误差来评判参数，也就是 (yi - (wxi + b)) ^ 2，对其求平均值，就可以得出当前模型的均方误差了

也就是：

均方误差有叫“欧氏距离”，而用均方误差训练模型称为“最小二乘法”，而将（w，b）不断优化的过程，称为“最小二乘参数估计”。

得到方法后，如何求出w，b的具体公式？

设，将其对w和d分别求导后，得出：

而显而易见的当这个等式为0时，也就是均方误差的导数为0时，是最优解。

而将他们对0求解就可以求出：

和

也就可以得出w，b的计算公式，也就是w，b最优闭式解。

多元线性回归：