52、基于自相关矩阵信息的扩展 Fisher 准则

基于自相关矩阵信息的扩展 Fisher 准则

1. 引言

Fisher 线性判别分析（FLDA）因使用简便和计算成本低，在模式识别、计算机视觉和机器学习领域被广泛用作判别式特征提取器，应用场景涵盖字符识别和人脸识别等。然而，FLDA 隐含假设每个类的分布为高斯分布，且所有类共享相同的协方差矩阵。当实际分类问题不满足这些假设时，其分类性能可能会大幅下降。

为解决该问题，已有许多 FLDA 的扩展方法被提出，大致可分为两类：
- 非线性或分段线性扩展 ：如 Hastie 等人、Zhu 等人和 Gkalelis 等人采用聚类分析来拟合多峰特征分布；Baudat 和 Sierra 研究非线性变换扩展以表示复杂特征分布。但此方法计算成本高，还可能带来模型选择难题，如确定峰值数量和变换类型。
- 引入分布间度量 ：将 Kullback - Leibler 散度或 Chernoff 距离等分布间度量纳入类间散布矩阵的计算。不过，这些度量的不对称结构会导致整个方法的公式不一致。

基于上述情况，本文提出了另一种 FLDA 扩展方法，灵感来源于 Class Featuring Information Compression（CLAFIC）。该方法将每个类样本的自相关矩阵所揭示的协方差信息，作为由特征向量张成的子空间，并将其与原始 FLDA 得到的子空间拼接，以此获取丰富的类特征分布信息。此方法仅包含简单的矩阵运算，易于使用且计算成本低，还便于扩展到多类分类问题。

2. Fisher 判别分析及其问题

经典的 FLDA 旨在为 C 类分类问题找到最具判别性的基，通