20、图像 - 文本匹配：方法与挑战

图像 - 文本匹配：方法与挑战

1. 引言

传统的单模态匹配，如图像 - 图像匹配和文本 - 文本匹配，仅能在相同模态内进行匹配。然而，图像和文本是理解现实世界的两个关键元素，尽管在人类认知中，将图像与文本相互关联看似简单，但在计算机视觉领域，由于图像和文本之间存在差异，实现这种关联仍然具有挑战性。不同模态具有不同的表示和分布，这些异构特性使得直接衡量视觉和语言的相似性变得困难。

随着深度学习技术的发展，探索视觉和文本内容之间的关联引起了研究人员的极大兴趣，因为它在多个应用中具有重要意义，包括图像 - 文本匹配、跨模态检索、图像描述生成和视觉问答等。本文主要关注双向图像 - 文本检索任务，即图像 - 文本匹配，这是跨模态领域中最常见的主题之一。

图像 - 文本匹配的核心问题是如何完美地找到并关联图像和文本中的共同语义，使得语义相关的图像 - 文本对的匹配得分高于不匹配的对。过去十年中，一些早期研究在图像 - 文本匹配方面取得了显著进展。基于对齐级别，现有的基于深度学习的图像 - 文本匹配方法可分为全局、局部和混合匹配方法。

1.1 不同匹配方法概述

• 全局匹配方法 ：学习整个图像和文本的联合嵌入，将整个图像和完整句子映射到一个共同的语义空间，在这个空间中可以直接测量图像 - 文本对的相似性。
• 局部匹配方法 ：关注局部级别的相关性，即图像区域和文本单词之间的关系。
• 混合匹配方法 ：结合全局和局部对齐，以获得更准确的匹配得分。

大多数先