13、主成分与次成分分析的双用途方法

主成分与次成分分析的双用途方法

在信息处理领域，经常需要从复杂的高维输入数据流中提取主要特征或消除噪声，主成分分析（PCA）和次成分分析（MCA）是两种常用的特征提取技术。然而，传统的PCA和MCA算法存在一些问题，例如难以找到主成分、MCA算法的稳定性问题等。为了解决这些问题，研究人员提出了多种双用途算法，能够自适应地跟踪主成分空间（PS）和次成分空间（MS）。

1. 已有双用途方法回顾

1.1 Chen的统一稳定方法

在许多信息处理系统中，PCA和MCA算法存在两个有趣的难题。第一个难题是为什么找到p个主成分（特征向量）比找到主成分空间更困难，Xu基于子空间方法使用$D = diag(d_1^2, \cdots, d_p^2)$，其中$d_1 > d_2 > \cdots > d_p > 0$解决了这个问题。第二个难题与MCA算法有关，虽然PCA算法使用梯度方法，但简单地改变PCA算法的代价函数符号来推导MCA算法通常不起作用，大多数通过改变PCA算法符号得到的MCA算法在离散时间更新中存在边际不稳定问题。

Chen提出了一种统一的稳定方法，用于主成分和次成分提取算法：
[
\begin{align }
\dot{W}(t) &= \left[CW(t)W^T(t)W(t) - W^T(t)W(t)CW(t)\right] + W(t)\left[E - W^T(t)W(t)\right]\
\dot{W}(t) &= -\left[CW(t)W^T(t)W(t) - W^T(t)W(t)CW(t)\right] + W(t)\left[E - W^T(t)W(t