11、线性判别分析：原理、方法与应用

线性判别分析：原理、方法与应用

1. 引言

在分类问题中，我们通常会定义一组判别函数 (g_j(x))，(j = 1, \cdots, K)，然后选择类别 (C_i)，如果 (g_i(x) = \max_{j = 1}^{K} g_j(x))。之前我们讨论的分类方法多是基于似然的分类，先估计先验概率 (\hat{P}(C_i)) 和类条件似然 (\hat{p}(x|C_i))，再用贝叶斯规则计算后验密度，进而定义判别函数，如 (g_i(x) = \log \hat{P}(C_i|x))。

而现在我们要讨论基于判别式的分类，直接为判别式假设一个模型，绕过似然或后验的估计。这种方法对类间判别式的形式做假设，而不考虑类密度的形式。学习过程就是优化模型参数 (\Phi_i)，以最大化分类的准确性。

线性判别是基于判别式分类中最简单的情况，判别函数在 (x) 上是线性的：
[g_i(x|w_i, w_{i0}) = w_i^T x + w_{i0} = \sum_{j = 1}^{d} w_{ij}x_j + w_{i0}]
线性判别因其简单性而被广泛使用，空间和时间复杂度均为 (O(d))。例如，金融机构在计算客户信用评分时，通常将其表示为各种属性影响的总和，这就是线性模型的一个应用。

2. 线性模型的推广

在许多应用中，线性判别往往具有较高的准确性。当类别是具有共享协方差矩阵的高斯分布时，最优判别式是线性的。但在某些情况下，线性模型可能不够灵活，此时可以使用二次判别函数：
[g_i(x|W_i, w_i, w_{i0}) = x^T W_i x + w_i x + w_{i0}]
然而，这种方法的复杂度