image-text matching(二)Expressing Objects just like words: Recurrent Visual Embedding for ITM

图像文本匹配：双路循环神经网络模型

最新推荐文章于 2024-11-04 15:19:59 发布

原创

最新推荐文章于 2024-11-04 15:19:59 发布 · 568 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习

本文提出了Dual Path Recurrent Neural Network (DP-RNN)用于图像文本匹配，解决仅关注单一对象可能导致的误匹配问题。通过RNN处理图像和文本特征，考虑对象间的语义关系，提高匹配准确性。实验表明，DP-RNN能有效利用语义相关的对象信息，提高匹配效果。

背景

本篇论文的工作来自罗彻斯特大学。已被AAAI2020接收

动机

作者指出之前的工作仅考虑图像中单个的object与caption的关系可能导致误匹配。某些时候，这些objects可以联立起来共同确定图像是否与文本相对应。一个误匹配的例子，仅考虑单个region与各个词的联系忽略了regions之间的语义关系。如该mismatch的例子，Two people riding skis…，每个people区域都与句子高度关联，但却要联合建模regions的语义，才能确定是图上是"Two people"
在这里插入图片描述

方法

作者提出Dual Path Recurrent Neural Network (DP-RNN)，以RNN处理图像和文本特征，故构成双路RNN。个人理解，本文的创新点在于把RNN用来处理图像特征，使得图像region似乎也具有上下文一般。
利用RNN联合多个regions的语义，彷佛regions也有上下文一般。这样的话，对于不同的captions，也有相应多样的图像特征。
在这里插入图片描述

DP-RNN具体执行步骤如下：
第一步，当image-text pair送入网络时，不论当前image-text是否匹配，regions根据与它关联性最高的词的位置进行重排序（重排序要在word self-attention出结果后才能做）。重排序后的regions被送入RNN。图、文自注意力模块，self-attention后的权重系数用来加权Cross-modal的相似度分