czqjijiboy的博客

图像文本匹配由于连接了视觉和语言而受到越来越多的关注。关键的挑战在于如何学习图像和文本之间的对应关系。现有的作品基于对象共现统计来学习粗略的对应关系，而无法学习细粒度的短语对应关系。在本文中，我们提出了一种新颖的图结构匹配网络（GSMN）来学习细粒度的对应关系。GSMN将对象、关系和属性明确地建模为结构化短语，这不仅允许分别学习对象、关系和属性的对应关系，而且有利于学习结构化短语的细粒度对应关系。这是通过节点级匹配和结构级匹配来实现的。