22、统计模式识别中的特征提取与选择

统计模式识别中的特征提取与选择

1. 二次特征的顺序选择

在模式识别中，以往的讨论多局限于线性变换，因为一般的非线性变换难以定义和分析。但在实际分类问题里，二次判别函数这一特定的非线性函数值得关注。二次判别函数对于正态分布是理想特征，即便对于非正态（但单峰）分布，也是相当不错的特征。因此，二次方程往往是两类分类中最有效特征的首选。

若分布为正态，$h(X)$ 是充分统计量，包含了所有分类信息，无需额外特征；若分布非正态，则存在其他携带部分分类信息的特征。

对于非正态情况，提取二次特征的一种系统方法如下：
1. 选取公式 (10.101) 中的 $h(X)$ 作为第一个特征。
2. 找到与 $h(X)$ 正交的子空间 $Y$。
3. 选择 $Y$ 子空间中的二次判别函数 $h(Y)$ 作为第二个特征，并找出与 $h(Y)$ 正交的子子空间。
4. 重复此过程，直至子空间中的分类信息耗尽。

1.1 与 $h(X)$ 正交的空间

与 $h(X)$ 正交的空间可定义为一个 $(n - 1)$ 维超曲面，在该曲面上，两个正态分布的某种（可能是非线性）投影相同。这里的正交定义并非传统意义上的。假设两个协方差矩阵为对角矩阵 $I$ 和 $A$，给定两个均值 $M_1$ 和 $M_2$，可通过 $C$ 移动坐标原点，使新坐标系中的两个均值向量满足 $(M_2 - C) = A^{1/2}(M_1 - C)$，即公式 (10.102)。

通过求解公式 (10.102) 中的 $C$，可得到：
$C = (I - A^{1/2})^{-1}(M_2 - A^{1/2}M_1)$，即公式