机器学习——线性建模最小二乘法

1-1  线性建模

首先，通过一个实际的例子来考虑机器学习最直接的学习问题——线性建模：在属性与响应之间学习的线性关系。

其基本形式为：    

一般用向量形式写成：  

其中W=（w1;w2;w3;.....wd）  ，W和b学得之后，模型就得以确定。线性模型形式简单、易于建模，但却蕴含着机器学习中一些重要的基本思想。许多功能更为强大的非线性模型（nonlinear model)可在线性模型的基础上通过引入层级结构或高维映射而得。

1-2 线性回归

给定数据集，其中

“线性回归”试图学得一个线性模型以尽可能准确地预测实值输出标记。形式化为：使得

其结果越接近真实值，我们就说这个模型越好。但是如何确定W和b呢? 显然在于如何衡量f(x)与y之间的差别。这里可以使用平方损失（亦可称作均方误差）度量回归任务中的性能，并试图让平方损失误差最小化，即损失函数L(w,b)最小化：