跨模态图文检索：浅谈SPGCM

《Group-Invariant Cross-Modal Subspace Learning》（2016 IJCAI）

研究背景与动机

大多数的跨模态检索方法严重依赖语义标签，而获取语义标签通常都非常昂贵且耗时。因此，作者在这篇文章中提出了一个新的无监督方法SPGCM。这是一个基于子空间的跨模态检索方法，用来发现无监督跨模态学习的最优公共子空间。

方法

具体来说，这篇文章的方法是，通过余弦相似度度量，将类聚类项转化为类CCA（典型相关分析）项，从而得到一个广义的CCA模型。当样本之间的潜在聚类指标相同时，组间对应最大。通过发现潜在的公共子空间，并将数据聚类投影在这个公共子空间中，来学习不同模态的子空间映射。

如图所示，先用CCA将内容相同的异构数据组成对（pair），再构造一个损失函数：
包括pairwise和groupwise所涉及的损失，然后设置一个由经验得到的迭代次数T，在循环更新T次后，得到最终的映射函数。

实验

一共在两个带标签的数据集上进行了实验。