AAAI-场景图生成的深度生成概率图神经网络Deep Generative Probabilistic Graph Neural Networks for Scene Graph Generation

文章地址：Deep Generative Probabilistic Graph Neural Networks for Scene Graph Generation.

简介

图像视觉理解是计算机视觉中一个很重要的任务，理解一个场景并不仅仅是识别出场景中的所有物体，物体之间的相互关系也是很重要的信息。为了表征这种语义，一些论文引入了场景图（scene graph）的概念，其中的节点表示对象，边则表示对象之间的关系。

如上图所示，图片提供的信息除了碗中有橘子和苹果等水果之外，还有碗在桌子上，水果在碗中这一信息；右图则强调小女孩骑在马上，这种隐藏的逻辑关系对于帮助理解图像信息有重要的作用，文章就是针对这一问题提出了一个新的算法(DG-PGNN)，来帮助更好的生成场景图。

工作创新

• 提出了一个新的算法（DG-PGNN）用于表示与场景图相关的不确定性
• 一种新的场景图构造算法，在完全可区分的概率框架中结合了深度特征学习和概率消息传递。
• 第一次显式利用图像的文本信息来为图像构建场景图。

以往的方法先是学习了这些边和节点的表达，再用这些嵌入来获取各个节点和边的类型。但是这些方法并不能利用图像中丰富的结构信息，本文作者提出了适合表征 Scene Graph 的 Probabilistic Graph Network（PGN）。在 PGN 中，边和节点都被表示成了用于 CNN 的特征向量，边和节点的种类则被表示成概率质量函数（prob