林轩田《机器学习基石》（十一）—— Linear models for classification

之前我们介绍了Logistic回归以及它的误差为交叉熵误差，介绍了梯度下降算法gradient descnt来获得最好的w。接下来我们将回顾之前的线性模型，将其延伸到更多的分类问题中。

一、二元分类

我们上一节课介绍的三个线性模型

线性分类问题使用了：

1.线性scoring function 

2.h = sign(s)

3.0-1误差

NP难的，不好解。

线性回归问题使用了：

1.线性scoring function 

2.h = s，不需要使用函数 sign(x)

3.平方误差

有闭式解。

Logistic回归：

1.线性scoring function 

2.h = 

3.交叉熵误差

梯度下降法求解。

他们都算了一个分数scoring function 。

我们现在要把上面那三个问题都用于分类（主要是后两个）。

线性回归的输出空间是R，+1，-1是其中两个特殊值。

logistics回归的资料和现行分类的资料是一样的。

线性分类一般有两步：

现在我们使用误差函数（将上面换一种写法）：

（最后一步是为了和其他函数作比较）

线性回归：

整合成一步：

Logistic回归：

整合成一步：