4、多视图子空间学习：方法与应用

多视图子空间学习：方法与应用

1. 核典型相关分析（KCCA）

1.1 CCA的局限性与KCCA的引入

典型相关分析（CCA）假设潜在空间的表示是通过从原始特征空间的线性映射获得的，这种线性假设限制了潜在空间的表示能力。为了解决这个问题，提出了几种CCA的非线性扩展，其中核典型相关分析（KCCA）是最广泛使用的方法之一。

1.2 从特征空间视角推导KCCA

首先，重写CCA的目标函数。假设数据是中心化的，在总体设置下有$\Sigma_{11} = X_1(X_1)^{\top}$，$\Sigma_{22} = X_2(X_2)^{\top}$和$\Sigma_{12} = X_1(X_2)^{\top}$，在实践中使用经验估计$\hat{\Sigma} {11} = X_1(X_1)^{\top}$，$\hat{\Sigma} {22} = X_2(X_2)^{\top}$和$\hat{\Sigma} {12} = X_1(X_2)^{\top}$。线性映射$w {v}^{i}$的参数可以重写为$w_{v}^{i} = (X_v)^{\top}m_{v}^{i}$，则CCA的目标函数可以重新表述为：
[
\begin{cases}
(m_{1}^{i}, m_{2}^{i}) = \arg\max_{m_{1}^{i}, m_{2}^{i}} m_{1}^{i\top}X_1X_1^{\top}X_2X_2^{\top}m_{2}^{i}\
s.t. \begin{cases}
m_{1}^{i\top}X_1(X_1)^{\top}m_{1}^{i} = 1