25、用于分类的增量非线性主成分分析

用于分类的增量非线性主成分分析

1. 引言

在许多模式识别问题中，高效的数据表示至关重要。特征提取旨在提取对各类别内变化具有不变性或不敏感性的测量值。主成分分析（PCA）是从高维数据集提取特征的强大技术，但传统PCA存在一些问题：
- 批量计算问题 ：PCA需要批量计算，当数据集较大时，计算成本高昂。
- 特征空间更新问题 ：若要使用新数据更新特征向量子空间，需重新计算整个特征空间。
- 线性投影局限 ：PCA仅定义数据的线性投影，应用范围有限，而现实世界中的数据大多是非对称的，包含高阶相关信息，PCA无法有效表示此类数据。

为解决这些问题，核主成分分析（KPCA）应运而生，它基于点积矩阵而非协方差矩阵进行PCA计算。然而，KPCA需要存储和求解一个N×N的核矩阵的特征向量（N为模式数量），当N很大时，该方法不可行。因此，人们开始研究不存储核矩阵的增量式KPCA方法。

此外，KPCA提取的特征是所有输入数据的全局特征，可能并非区分不同类别的最优特征。为解决这一问题，本文提出了一种新的在线非线性数据分类器，该分类器由两部分组成：第一部分是特征提取，采用增量特征空间更新方法结合特征映射函数，克服了KPCA的内存需求问题；第二部分是分类，使用最小二乘支持向量机（LS - SVM）作为分类器，LS - SVM通过求解一组线性方程克服了标准支持向量机（SVM）求解二次规划问题时的复杂计算和高内存需求问题。

2. 增量特征空间更新方法

为克服标准PCA的计算复杂性和内存需求问题，下面介绍增量PCA算法。在介