在三维场景中构造关系

---

1.《Free-form Description Guided 3D Visual Graph Network for Object Grounding in Point Cloud》【ICCV’2021】

Code：https://github.com/PNXD/FFL-3DOG

3DVG任务有以下三个挑战：

• 在复杂、多样的文本描述中找到主要的重点，即找到主语（目标对象）；
• 理解点云场景；
• 定位目标对象；

为了解决这些问题，这篇文章分别设计了以下三个模块：

• 首先，提出了一个语言场景图模块来从复杂的文本描述中，捕捉丰富的结构和短语相关性；
• 其次，引入proposals之间的关系，并加强了初始proposals的视觉特征；
• 最后，开发了一个文本描述来引导的三维可视化图模块，通过节点匹配策略对短语和建议的全局上下文进行编码。

图形摘要如下所示：

直白来讲，本文就是做了以下三件事：

• 首先，将复杂的文本描述划分为三类短语：名词短语、代词和关系短语，基于这些短语构造一个语言场景图$G^l$，其中节点和边缘分别对应于名词短语+代词和关系短语；
• 其次，基于VoteNet给出的proposals构造出一个proposal relation 图 G o G^o