21、统计模式识别中的特征提取与线性映射

统计模式识别中的特征提取与线性映射

1. 广义准则

1.1 特征提取与判别函数

特征提取用于分类的过程，等同于在分类器设计中寻找判别函数。判别函数是分类器在决策逻辑应用前的最终模拟输出，对于 L 类分类问题，所需的判别函数数量为 (L - 1) 个，这也是最少的数量。并且，寻找最优线性变换与设计最优线性分类器是等价的。

1.2 两类问题

对于两类问题，可将 X 映射到一维子空间 (y_1 = \varPhi^T X)，此时准则 (tr(S_w^{-1}S_b)) 可表示为特定形式。其中，(\eta_i = E(y_1|\omega_i) = \varPhi^T M_i)，(\eta_0 = E(y_1) = \varPhi^T M_0)，(\sigma_i^2 = Var(y_1|\omega_i) = \varPhi^T \Sigma_i \varPhi)。其他散度矩阵准则也可表示为 (\eta_1)、(\eta_2)、(\sigma_1^2) 和 (\sigma_2^2) 的函数。因此，可引入广义准则 (f(\eta_1,\eta_2,\sigma_1^2,\sigma_2^2))，将散度矩阵准则视为特殊情况。

非线性映射时：
[y_1 = \varPhi(X)]

线性映射时：
[y_1 = (M_2 - M_1)^T [S_w + (1 - s)S_b]^{-1}X]
其中：
[s = \frac{\sigma_1^2 - \sigma_2^2}{\sigma_1^2 + \sigma_2^2}]

当 (f) 是 (S_b)、(S_w) 和 (S_