9、多模态距离度量学习：贝叶斯非参数方法

多模态距离度量学习：贝叶斯非参数方法

1 引言

在众多实际应用场景中，如社交媒体应用，数据通常由来自不同异构源的多种输入模态组成。为这类数据学习相似性度量，对分类、聚类、检索等大量应用而言至关重要。

定义多模态数据点之间合适的距离度量，是一项关键挑战，对许多多媒体应用的性能有着重大影响。现有的多模态距离度量学习方法，仅能对距离矩阵和/或潜在特征进行点估计，因此在训练样本数量较少时，可能不可靠。

为解决这一问题，本文提出一种基于 Beta 过程的新型贝叶斯框架，用于学习多模态数据的距离函数。该框架能将不同模态的数据嵌入到单个潜在空间中，还可利用灵活的 Beta 过程模型，通过训练数据本身推断隐藏空间的维度。此外，本文还开发了一种新颖的变分贝叶斯（VB）算法，用于计算参数的后验分布，并直接对后验分布施加约束（相似性/不相似性约束）。

2 相关工作

近年来，度量学习成为了一个非常活跃的研究领域。在该问题中，当数据点存在一些相似性和不相似性约束时，我们试图从数据样本中学习合适的不相似性度量。一些知名的算法，如 Xing 等人提出的方法，将学习任务转化为约束凸优化问题：
[
A^*=\arg\min_{A} \sum_{(x_i,x_j)\in S} (x_i - x_j)^T A (x_i - x_j),
]
[
\text{s.t.} \sum_{(x_i,x_j)\in D} (x_i - x_j)^T A (x_i - x_j) \geq 1, A \succeq 0,
]
其中，$A$ 是马氏距离矩阵，$S$ 和 $D$ 分别表示正约束和负约束集。