cross-modal retrieval and multi-modal retrieval的区别

与unimodal 检索不同，在cross-modal 检索中，检索结果的模态和查询的模态是不同的。比如，用户使用图像检索文本，视频和音频。cross-modal检索的关键在于对不同模态的关系进行建模，难点就是bridging the semantic gap。 然而，当要检索的文档包含多模态的时候，一般的cross-modal方法就无法直接应用到multi-modal retrieval。

multi-modal 检索方法可以处理带有多个模态的多媒体数据，在multi-modal检索中，查询和要检索的文档可能包含不止一个模态。multi-modal检索方法可以用来提高unimodal 检索的准确度。multi-modal和cross-modal检索的主要区别在于在multi-modal检索中，查询和要检索的文档必须至少有一个模态是相同的。multi-modal方法通常是融合不同的模态进行检索，而不是对他们的关系进行建模。比如， 在许多multimodal图像检索系统中，查询图像可能都有相关的文本，要检索的图像也包含相关的文本信息。而如果查询和要检索的文档（document）没有相同的模态，那么这就是cross-modal要解决的问题，传统的multi-modal方法就无能为力了。

翻译自论文《A Semantic Model for Cross-Modal and Multi-Modal Retrieval 》