12、多视图深度学习：联合表示、互补结构空间与模型融合

多视图深度学习：联合表示、互补结构空间与模型融合

1. 多视图深度学习基础模型

1.1 深度信念网络（DBN）与深度玻尔兹曼机（DBM）

深度信念网络（DBN）和深度玻尔兹曼机（DBM）在图表上看起来非常相似，但实际上有本质区别。DBN 是有向图模型，其层间连接是有向的，前两层构成受限玻尔兹曼机（RBM，无向图模型），后续层构成有向生成模型。而 DBM 是无向图模型，所有层之间的连接都是无向的，每两层构成一个 RBM。

1.2 多视图深度高斯过程（MvDGPs）

MvDGPs 结合了深度高斯过程和多视图学习的优势，充分考虑了多视图数据的特点。它可以为每个视图独立确定建模深度，比传统的深度高斯过程更灵活、强大。

2. 网络融合

2.1 分裂多视图自动编码器

2.1.1 模型背景

尽管多模态 DBM 在学习不同视图的共享联合表示方面非常成功，但仍存在局限性，例如没有明确的目标来发现视图间的相关性，导致一些隐藏单元只针对一个视图进行调整，而另一些只针对另一个视图。多视图深度自动编码器因其目标的灵活性，成为学习视图间共享表示的良好替代方案。

2.1.2 模型原理

在多视图特征学习中，我们有来自两个视图的成对观测数据((x_1, y_1), \cdots, (x_N, y_N))，其中(N)是样本大小，(x_i \in R^{D_x})，(y_i \in R^{D_y})，(i = 1, \cdots, N)。我们用(X = [x_1, \cdots, x_N])和(Y = [y_1, \cdots, y_N])表示每个视图的数