14、主成分分析与次要成分分析的新型双用途方法

主成分分析与次要成分分析的新型双用途方法

在数据分析和机器学习领域，主成分分析（PSA）和次要成分分析（MSA）是两种重要的技术。本文将介绍一种新型的统一非二次准则（NQC），以及基于该准则的双用途子空间梯度流算法，该算法可用于跟踪主成分和次要成分子空间。

1. 新型PSA和MSA准则

给定矩阵 $W \in R^{N\times r}$，其定义域为 $X = {W|0 < W^TRW < 1, W^TW \neq 0}$，我们提出了一个新型的统一非二次准则（NQC），用于PSA和MSA：
[
\min_{W} J_{NQC}(W,R) = \pm \frac{1}{2} tr\left{(W^TRW)(W^TW)^{-1}\right} + \frac{1}{2} tr\left{(I - W^TW)^2\right}
]
其中，“+” 用于MS跟踪，“−” 用于PS跟踪，$I$ 是单位矩阵。从这个准则可以看出，$J_{NQC}(W, R)$ 有一个下界，并且当 $W^TW \to 1$ 时，该准则趋近于无穷大。这个准则之所以新颖，是因为它与现有的PSA或MSA准则都不同。

需要注意的是，如果在使用 “−” 时，将准则中的瑞利商 $\frac{W^TRW}{W^TW}$ 替换为 $W^TRW$，则目标函数可用于推导一些一维情况下的PCA算法。然而，这些目标函数不能仅通过改变给定矩阵的符号来推导出双用途的自稳定梯度学习算法。

2. 非二次准则的景观分析

2.1 跟踪MS的NQC景观

考虑跟踪MS的NQC：
[
\min_{W} E_1(W)