29、用于提取奇异特征的有效神经学习算法

用于提取奇异特征的有效神经学习算法

在数据分析领域，提取高维数据流之间的交叉相关特征是一项重要任务。本文将介绍一种用于提取主奇异子空间（PSS）的有效神经学习算法，包括新颖的信息准则公式、自适应学习算法以及性能分析。

1. 新颖的信息准则公式

在给定$U \in \mathbb{R}^{M\times r}$和$V \in \mathbb{R}^{N\times r}$，且满足$|U| F\neq 0$，$|V|_F\neq 0$的条件下，提出了一个用于PSS的非二次准则（NQC）：
[
\begin{align }
\min_{U,V} J_{NQC}(U, V)\
J_{NQC}(U, V) &= - \text{tr} \left{(U^T C V) (|U|_F |V|_F)^{-1} \right} + \frac{1}{2} \text{tr}\left{[I - U^T U]^2\right} + \frac{1}{2} \text{tr}\left{[I - V^T V]^2\right}
\end{align }
]
这个准则之所以新颖，是因为它与现有的PSS准则和主奇异分析（PSA）准则都不同。从该公式可以看出，$J {NQC}(U, V)$有下界，并且当$\text{tr}(U^T U) \to \infty$或$\text{tr}(V^T V) \to \infty$时，$J_{NQC}(U, V)$趋近于无穷大。基于此NQC，可以推导出梯度搜索算法。

如果将$U$和$V$通过左右奇异向量基展开为$U = L^T \tilde{U}$，