28、奇异特征提取与神经网络：交叉相关特征方法综述及有效学习算法

奇异特征提取与神经网络：交叉相关特征方法综述及有效学习算法

在数据分析和机器学习领域，奇异值分解（SVD）及其相关算法在特征提取、降维等方面发挥着重要作用。本文将介绍几种用于SVD的算法，包括HM动力学、双广义Hebbian算法（DGHA）、正交非对称编码器（OAE）、交叉关联神经网络（CANN）以及交叉协方差矩阵的耦合SVD算法，最后还会探讨一种提取交叉相关特征的有效神经学习算法。

1. HM动力学

HM动力学源于对特定度量 $U_W: O(m, C) \times O(n, C) \to \mathbb{R}$ 的最大化，其定义为：
$U_W(A, B) \stackrel{\text{def}}{=} 2\text{Re}\text{tr}(W A^H Z B)$
其中，$W \in \mathbb{R}^{n \times m}$ 是加权矩阵，$Z \in \mathbb{C}^{m \times n}$，且 $m \leq n$。该动力学系统作为 $O(m, C) \times O(n, C)$ 上的黎曼梯度流导出，可表示为：
$\dot{A} = A(W^H B^H Z A - A^H Z B W)$，$A(0) = A_0$
$\dot{B} = B(W A^H Z B - B^H Z^H A W^H)$，$B(0) = B_0$
已证明 $A(t) \in O(m, C)$ 且 $B(t) \in O(n, C)$。在特定情况下，当 $W = -I_{n,m}$ 且相关量为实值时，上述系统在 $p = n$ 时等价于WH2。显然，Weingessel - Hornik SVD学习方程可视为Helmke - Moore系统的特殊情况。