49、线性判别函数：从理论到多类扩展

线性判别函数：从理论到多类扩展

1. 判别函数基础

在分类问题中，判别函数起着关键作用。我们先从一个重要的准则函数 $J(w)$ 开始，其表达式为：
[J(w) = \frac{w^T S_B w}{w^T S_W w}]
这里，$S_B$ 是类间协方差矩阵，计算公式为：
[S_B = (m_2 - m_1)(m_2 - m_1)^T]
$S_W$ 是总的类内协方差矩阵，通过以下公式计算：
[S_W = \sum_{n \in C_1} (x_n - m_1)(x_n - m_1)^T + \sum_{n \in C_2} (x_n - m_2)(x_n - m_2)^T]
为了找到使 $J(w)$ 最大化的 $w$，我们对 $J(w)$ 关于 $w$ 求导，得到：
[(w^T S_B w)S_W w = (w^T S_W w)S_B w]
从 $S_B$ 的表达式可知，$S_B w$ 总是与 $(m_2 - m_1)$ 同向。而且，我们只关心 $w$ 的方向，不关心其大小，所以可以去掉标量因子 $(w^T S_B w)$ 和 $(w^T S_W w)$。将上式两边同时乘以 $S_W^{-1}$，得到：
[w \propto S_W^{-1} (m_2 - m_1)]
如果类内协方差是各向同性的，即 $S_W$ 与单位矩阵成比例，那么 $w$ 与类均值的差成比例。

这个结果被称为 Fisher 线性判别。严格来说，它不是一个判别器，而是一种将数据投影到一维的特定方向选择。不过，投影后的数据可以用于构建判别器，通过选择一个阈值 $y_0$，当 $y(x) \geq y_0$ 时，将新点分类为属于 $C_