GraphVQA: Language-Guided Graph Neural Networks for Scene Graph Question Answering

用于场景图问答的语言引导图神经网络

图片不只是一个对象和属性的集合，他们代表了一个互相连接的对象的关系网，场景图作为图像的结构化图形表示，已经成为一种新的表现形式。场景图将物体编码为通过成对边关系连接的节点，

为了在场景图上进行问答，本文提出了 GraphVQA,一个语言引导的图神经网络框架，将一个自然语言问题转换并执行为在图节点上的多次迭代信息传递。我们探索了GraphVQA框架的设计空间，讨论不同设计选择之间的平衡，获得了很好的性能。

Introduction

图像不仅仅是对象或属性的集合。每幅图像代表相互连接的对象之间的关系网络。为了形式化图像的表示，Visual Genome(Krishna等人，2007a)定义了场景图，这是一种图像的结构化形式化图形表示，类似于知识库表示中广泛使用的形式。如图1所示，场景图将对象(例如，女孩、汉堡)编码为通过成对关系(例如，持有)连接的节点作为边。场景图已被引入用于图像检索(Johnson等人，2015年)、图像生成(Johnson等人，2018年)、图像字幕(Anderson等人，2016年)、理解教学视频(Huang等人，2018年)和情景角色分类(Li等人，2017年)。

消息传递后的最终状态表示答案（比如，托盘），中间状态反映模型的推理，每个消息传递迭代由图神经网络(GNN)层完成，我们探讨了GraphVQA中的各种小新传递设计，并讨论了不同设计选择之间的权衡。

场景图问答与视觉问答密切相关。虽然在场景图生成方面已经有了很多的研究工作，但是<