48、线性分类模型：从最小二乘法到Fisher线性判别

线性分类模型：从最小二乘法到Fisher线性判别

1. 线性分类中的最小二乘法与逻辑回归

在线性分类问题中，最小二乘法和逻辑回归是两种常用的方法。通过对两类数据的分类情况进行分析，可以直观地看到它们的特点。

1.1 最小二乘法与逻辑回归的决策边界对比

图4.4展示了两类数据的分类情况。左图中，红色十字和蓝色圆圈分别代表两类数据，同时给出了通过最小二乘法（品红色曲线）和逻辑回归模型（绿色曲线）找到的决策边界。右图则是在图的左下角添加额外数据点后的对应结果。

从图中可以明显看出，最小二乘法对异常值高度敏感，而逻辑回归则不受此影响。最小二乘法在处理异常值时，决策边界会发生较大的偏移，导致分类效果变差。而逻辑回归能够更稳健地处理数据，其决策边界相对稳定。

1.2 最小二乘法在多类数据分类中的问题

图4.5展示了一个包含三类数据的合成数据集。使用最小二乘法进行分类时，输入空间中分配给绿色类的区域过小，导致该类的大部分数据点被错误分类。而使用逻辑回归进行分类时，训练数据得到了正确的分类。

最小二乘法的失败并不令人意外，因为它对应于在高斯条件分布假设下的最大似然估计，而二元目标向量的分布显然远非高斯分布。因此，采用更合适的概率模型可以得到比最小二乘法性能更好的分类技术。

2. Fisher线性判别

Fisher线性判别是一种从降维角度看待线性分类模型的方法。下面将详细介绍其原理和实现步骤。

2.1 降维与线性分类

考虑两类问题，将D维输入向量x投影到一维空间，使用投影公式：
[y = w^Tx]
如果