论文阅读：LinkNet: Relational Embedding for Scene Graph

最新推荐文章于 2024-07-31 18:02:02 发布

Kivee123

最新推荐文章于 2024-07-31 18:02:02 发布

阅读量6.5k

点赞数 3

文章标签： scene understanding

本文链接：https://blog.youkuaiyun.com/qq_37014750/article/details/84189873

版权

本文深入探讨LinkNet在NIPS 2018上的论文，该论文提出了一种关系嵌入模块，用于场景图生成任务，通过物体特征更新增强理解。此外，还包括全局上下文编码和几何布局编码模块，以捕获图像的全局信息和几何结构。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

LinkNet（NIPS 2018）

文章
一两个月前在NIPS2018的官网上看到这篇论文，最近终于在arxiv上看到了，于是迫不及待地就读了，下面就来一起来看看这篇来自KAIST的LinkNet吧。
论文的主要创新点是对于scene graph generating任务设计了一个relational embedding module，可以利用图片中所有的物体的特征对某个物体的特征进行更新，此外还提出了Global context encoding module来encode全局的context信息，和geometric layout encoding module来显式使用几何布局的信息。

Global Context Encoding Module：
将整张图片的信息encode成一个特征，concat到每一个物体的特征后面。而整张图的信息则是通过一个对图片进行多分类的任务得到的，直接取多分类的FC层前一层的AvgPool的结果作为global context。注意一张图上的所有物体都用的是这个global context。

Object Feature：
除了用RoIAlign得到的feature以及global context外，每个bound