Pixels2Graph(NIPS 2017)
文章
insight:现在做关系检测往往都是分为物体检测和关系识别两个步骤,可是这样的话,在第二步的时候往往会损失很多信息,本文希望从原图的像素信息一步同时得到物体和关系。
其实本文的关键是associative embedding,今年ECCV的一篇CornerNet也是利用了这种想法,给目标检测带了新思路,我感觉应该也有这篇文章的灵感。
本文的方法其实也是两步,首先检测最后要得到的场景图的每个元素,包括节点和边,然后对这些元素进行组合。第一步其实就是检测物体以及关系在图上的bbox,第二步就是决定每条边应该和哪两个点相连。下面详细介绍一下具体的算法。
Detecting graph elements:
最终场景图的每个元素(点和边)在原图片上都有一个对应的位置,目标检测得到的bounding box的中心坐标就是场景图中点对应的位置,边的位置则是其两个关联的bounding box的中心坐标的均值。利用这样的思路,我们可以使用一个神经网络能够产生一个高分辨率的特征图,特征图上每个像素与原图像素一一对应。而每个位置的vector则表示这个位置是否存在一个节点或者边,如果是存在的就用该vector来预测这个元素的属性。