15、主成分分析与次要成分分析的新型信息准则及算法研究

主成分分析与次要成分分析的新型信息准则及算法研究

1. PSA和MSA的信息准则及其特性

PSA（主成分分析）和MSA（次要成分分析）的信息准则为：
[
\max_{W} J_{NUIC}(W) = \pm \frac{1}{2} tr\left[ (W^TRW)(W^TW)^{-1} \right] + \frac{1}{2} tr\left[ \ln(W^TW) - W^TW \right]
]
其中，“+”表示PSA信息准则，“-”表示MSA信息准则。该准则的特性由以下四个定理描述：
- 特征值分解 ：设(k_i)和(u_i)（(i = 1, 2, \cdots, n)）为矩阵(R)的特征值和对应的正交特征向量。将正交特征向量(u_1, u_2, \cdots, u_n)按特征值非升序排列，即(k_1 \geq k_2 \geq \cdots \geq k_n)，则(R)的特征值分解（EVD）可表示为：
[
R = UKU^T = U_1KU_1^T + U_2KU_2^T
]
其中(K = diag(k_1, \cdots, k_r, k_{r + 1}, \cdots, k_n))，(U_1 = [u_1, \cdots, u_r])，(U_2 = [u_{r + 1}, \cdots, u_n])。若特征值顺序任意，EVD也可表示为：
[
R = U’K’(U’)^T = U_rK_rU_r^T + U_{n - r}K_{n - r}U_{n - r}^T
]
其中(U’ = [U_r, U_{n - r}])，(K’ = diag(k_1