机器学习基本概念(3)--线性模型概述

线性模型

基本形式

模型可以用线性方程式来表达，确定每个属性值前面的系数和最后的常熟模型就可以确定。

         线性模型形式简单，易于建模，但是很多功能强大的非线性模型可以通过引入层级结构或者高维映射而得到。因此线模型有很好的可解释性或者说是可理解性。

线性回归

给定义一个数据集D，线性回归做的是找一条直线使得通过这个模型，能够比较正确的预测。

         若属性值存在“序”的关系，则通过连续化将其转化为连续值，若不存在，则可以转化为K维向量。

Eg：书中的例子：瓜的种类有西瓜、南瓜、黄瓜可以转化为（0.0.1）、（0.1.0）、（1.0.0）。

 

线性回归试图学得

         f(x_i) = w*x_i + b, 使得 f(x_i)接近y_i

 

均方误差：所有f(x_i)– y _i的平方；

因此以上问题就可以转化为使得均方误差最小即可。基于此的称为“最小二乘法”，最小二乘法可以求得。求解w和b使线性模型均方误差最小的过程，称为线性回归模型的最小二乘“参数估计”（parameterestimation）

多元线性回归

当样本有多个属性来描述他们时候，

f(x_i) = w^t *x_i + b , 使得 f(x_i)接近y_i           ----------此处的 w x 是集合。

称为多元线性回归。

 

多元线性回归涉及向量和矩阵的运算。如果属性过多，甚至超过样例的数量，那么就导致矩阵的列数多于行数，就可以解出多个w，选择哪一个解由学习算法的归纳偏好决定。

对数线性回归

         在以上的研究过程中，我们不仅可以使得真实值符合线性回归，我们也可以使得真实值的衍生值符合线性回归即可，例如使得lny符合线性回归，这就是对数线性回归。

         虽然这种形式上任然是线性回归，但是其实是在求取输入空间到非线性区间的映射。

 

广义线性模型

更一般的我们考虑单调可微的函数g(.)

         g(.) * Y = = w^t *x_i