13、多视图深度学习中的互补结构化空间方法

多视图深度学习中的互补结构化空间方法

在多视图深度学习领域，构建互补结构化空间是一个重要的研究方向，其目的是通过不同视图的数据来学习更有效的表示。下面将详细介绍几种相关的方法。

1. 深度典型相关分析（Deep CCA）

深度典型相关分析（Deep CCA）旨在使两个深度网络的输出层达到最大相关性。在这个方法中，$w_x = [w_{x1}, \ldots, w_{xL}]$ 和 $w_y = [w_{y1}, \ldots, w_{yL}]$ 是用于投影DNN输出的CCA方向，而 $(r_x,r_y) > 0$ 是用于样本协方差估计的正则化参数。在DCCA中，$w_x^T f(\cdot)$ 是用于测试的最终投影映射。

深度网络在其他任务中取得成功的特性，如高模型复杂度和能够简洁地表示用于建模现实世界数据分布的特征层次结构，在输出空间比单个标签复杂得多的情况下可能特别有用。

Deep CCA及其扩展已广泛应用于提供多视图数据的学习表示任务中。例如，有人使用深度CCA框架学习图像和字幕匹配的联合潜在空间，该框架采用GPU实现，能够处理过拟合问题；还有人利用深度CCA学习两种语言的深度非线性嵌入，以利用学习词嵌入时的多语言上下文。

2. 基于自编码器的方法

2.1 深度典型相关自编码器（DCCAE）

受CCA和基于重建的目标启发，提出了一种新的变体——深度典型相关自编码器（DCCAE）。它由两个自编码器组成，并优化学习到的瓶颈表示之间的典型相关性和自编码器的重建误差的组合。具体来说，其优化目标如下：

m