机器学习笔记——线性模型

一，基本形式

给定由d个属性描述的示例x = (x1;x2;...;xd)，线性模型试图学得一个通过属性的线性组合来进行预测的函数：

向量形式写成：

其中，w = (w1;w2;...;wd)。

二，线性回归

对于输入的属性数目只有一个的简单情形，线性回归试图学得：

我们使用最小二乘法来求解w,b，即使用均方误差最小化来进行模型求解：

求解w,b的过程称为线性回归模型的最小二乘”参数估计“。

若样本由d个属性描述，此时我们试图学得：

这称为多元线性回归。

现实任务中，若样本的属性数目过多，会出现多个解，他们都能使均方误差最小化。选择哪一个解作为输出，将由学习算法的归纳偏好决定，常见的做法是引入正则化。

线性模型的变化：

考虑单调可微函数g(x)，令

这样得到的模型称为”广义线性模型“，其中函数g(x)称为”联系函数“。显然，对数线性回归是广义线性模型在g(x) = ln(x)时的特例。

三，对数几率回归

线性模型除了可以进行回归学习，还可以做分类任务。

对于二分类任务，将广义线性模型中g-(x)函数替换为对数几率函数——

即可得到：

此模型称为”对数几率回归“或者”逻辑回归“，它是一种分类学习方法。

对于其中参数w,b的确定，可通过”极大似然法“来估计，具体内容不再赘述。