2、特征提取与子空间跟踪技术解析

特征提取与子空间跟踪技术解析

1. 特征提取概述

在数据处理领域，模式识别和数据压缩这两个应用对高效的数据表示有着极高的依赖。模式识别的任务是判断一个观测模式属于哪一类对象，而数据压缩则是为了在尽可能减少失真的前提下，节省表示数据所需的比特数。在这些应用中，提取对各类别内变化具有不变性或不敏感性的测量值是非常理想的，这个过程就被称为特征提取。简单来说，特征提取是一种将高维空间映射到低维空间，同时使信息损失最小化的数据处理方法。

1.1 主成分分析（PCA）及其相关概念

主成分分析（PCA）是一种广为人知的特征提取方法。主成分（PC）是数据具有最大方差的方向，它们对应于数据向量自相关矩阵的最大特征值所关联的特征向量。用主成分来表示数据向量的过程就是PCA。相反，数据向量自相关矩阵的最小特征值所对应的特征向量被定义为次要成分（MC），MC是数据方差最小的方向，代表数据中的噪声。用次要成分表示数据向量的过程称为次要成分分析（MCA）。

PCA和MCA通常是一维的，但在实际应用中，它们主要是多维的。与数据向量自相关矩阵的r个最大（或最小）特征值相关联的特征向量被称为主（或次）成分，r被称为主（或次）成分的数量。与自相关矩阵的最大（或最小）特征值相关联的特征向量称为最大（或最小）成分。由主成分张成的子空间称为主子空间（PS），由次要成分张成的子空间称为次主子空间（MS）。在某些应用中，我们只需要找到由r个正交归一特征向量张成的PS（或MS）。PS有时也被称为信号子空间，MS被称为噪声子空间。

PCA和MCA在许多信息处理领域都是强大的技术。例如，PCA在高分辨率谱估计、系统识别、图像压缩和模式识别等数据处理问题中得到了成功应用；MCA则广泛应用于