从线性到非线性模型-Fisher线性判别与线性感知机

从线性到非线性模型

1、线性回归，岭回归，Lasso回归，局部加权线性回归

2、logistic回归，softmax回归，最大熵模型

3、广义线性模型

4、Fisher线性判别和线性感知机

5、三层神经网络

6、支持向量机

四、Fisher线性判别与线性感知机

​ Fisher线性判别和线性感知机都是针对分类任务，尤其是二分类，二者的共同之处在于都是线性分类器，不同之处在于构建分类器的思想，但是二者有异曲同工之妙。同时二者又可以与logistic回归进行对比，当然logistic回归的理论基础是概率。

一、Fisher线性判别

​ Fisher线性判别是一种线性分类思想，其核心是找一个投影方向将d维数据投影（降维）到一维，使得类内紧致，类间分离。在确定投影方向之后，决策分类器还并未完成，我们还需要分界点来划分不同的类。一般而言很少用Fisher线性判别作为分类模型，更多是借鉴Fisher线性判别的思想来指导降维。

以两类问题来分析：

由类内紧致，类间分离准则确定投影方向，我们可以定义如下类内距离和类间距离

$$\tilde{m}_{i}=\frac{1}{n_{i}}\sum_{y_{j}\in X_{i}}^{i=1,2}y_{j}=\frac{1}{n_{i}}\sum_{y_{j}\in X_{i}}^{i=1,2}w^{T}x_{j}=w^{T}m_{i}$$
其中 $\tilde{m}_{i}$表示降维后的类中心， $m_{i}$表示原始空间的类中心。

类内距离：

S~w=∑yj∈Xii=1,2(yj−m~i)2=∑xj∈Xii=1,2⎛⎝wTxj−1ni∑xj