机器学习Day2——线性模型

基本形式

给定由d个属性描述的示例 x=(x1,x2,…,xd)，其中xi是x在第i个属性上的取值，线性模型试图学的一个通过属性的线性组合来进行预测的函数，即

一般用向量形式写成

其中 w=(w1,w2,…,wd)，w和b学得之后，模型就可以确定了。

模型求解

我们试图学得

这称为”多元线性回归“。
我们需要求解最优解，即f(xi)-yi的值趋向于0，利用最小二乘法
令

再把标记（预期结果）写成向量形式

则有

然而，在显示任务中往往不是满秩矩阵，此时可以解出多个w，他们都能使均方误差最小化，选择哪个解作为输出，将由学习算法的归纳偏好决定，常见的做法是引入正则化项。

广义线性模型
考虑单调可微函数g(·)，另
其中g(·)称为联系函数，对数线性回归是广义线性模型在g(·)=ln(·)时的特例。

对数几率回归（线性模型在分类任务中的变换）

在广义线性模型中，我们只需要找到一个单调可微函数，即可作为一般的线性模型来求解。

考虑二分类任务，其输出标记y∈{0，1}，而线性回归模型产生的预测值是实值，于是，我们需要将z转换为0/1值。最理想的是”单位阶跃函数“

但是这并不是一个连续的函数，不可微，于是我们可以找一个一定成都上近似单位阶跃函数的”替代函数“。对数几率函数正是这样一个常用的替代函数：