11、线性判别分析：原理、方法与应用

线性判别分析：原理、方法与应用

1. 引言

在分类问题中，我们通常会定义一组判别函数 (g_j(x))（(j = 1, \ldots, K)），然后选择 (C_i) 当 (g_i(x) = \max_{j = 1}^{K} g_j(x))。之前讨论的分类方法，多是先估计先验概率 (\hat{P}(C_i)) 和类似然 (\hat{p}(x|C_i))，再用贝叶斯规则计算后验密度，进而定义判别函数，如 (g_i(x) = \log \hat{P}(C_i|x))，这被称为基于似然的分类。

而现在要讨论的是基于判别的分类，它直接为判别式假设一个模型，绕过了似然或后验的估计。这种方法对类之间的判别形式做了假设，而不考虑类密度的形式，例如不关心类密度是否为高斯分布，输入是否相关等。

判别式模型 (g_i(x|\Phi_i)) 由参数集 (\Phi_i) 显式参数化，与基于似然的方案不同，后者在定义似然密度时具有隐式参数。学习过程就是优化模型参数 (\Phi_i)，以最大化分类的准确性，这与基于似然的方法不同，后者是分别为每个类寻找最大化样本似然的参数。

在基于判别的方法中，我们只关心类区域之间边界的正确估计，而不关心类区域内密度的正确估计。当判别式可以用简单函数近似时，这种方法是有效的。

2. 线性判别函数

在最简单的情况下，判别函数是关于 (x) 的线性函数：
[g_i(x|w_i, w_{i0}) = w_i^T x + w_{i0} = \sum_{j = 1}^{d} w_{ij}x_j + w_{i0}]
线性判别函数因其简单性而被广泛使用，其空间和时间复杂度均为 (O(d))。线性模型易于理解