1-1 线性建模
首先,通过一个实际的例子来考虑机器学习最直接的学习问题——线性建模:在属性与响应之间学习的线性关系。
其基本形式为:
一般用向量形式写成:
其中W=(w1;w2;w3;.....wd) ,W和b学得之后,模型就得以确定。线性模型形式简单、易于建模,但却蕴含着机器学习中一些重要的基本思想。许多功能更为强大的非线性模型(nonlinear model)可在线性模型的基础上通过引入层级结构或高维映射而得。
1-2 线性回归
给定数据集,其中
“线性回归”试图学得一个线性模型以尽可能准确地预测实值输出标记。形式化为:使得
其结果越接近真实值,我们就说这个模型越好。但是如何确定W和b呢? 显然在于如何衡量f(x)与y之间的差别。这里可以使用平方损失(亦可称作均方误差)度量回归任务中的性能,并试图让平方损失误差最小化,即损失函数L(w,b)最小化: