论文阅读：Representation Learning for Scene Graph Completion via Jointly Structural and Visual Embedding

最新推荐文章于 2023-12-15 18:30:15 发布

原创

最新推荐文章于 2023-12-15 18:30:15 发布 · 1.1k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#scene understand

RLSV是2018年IJCAI会议上提出的一种方法，它将TransD应用于场景图补全（SGC）。通过构建视觉特征提取模块和层次投影模块，RLSV旨在完成场景图并捕捉实体和关系的结构和视觉信息。模型通过动态映射矩阵在属性空间、关系空间和视觉空间中转换实体和关系的嵌入，以实现更准确的三元组预测。实验结果表明，RLSV在链接预测和三元组分类任务上表现出色。

RLSV (IJCAI2018)

本文将知识图谱补全中的著名的Trans系列的算法之一TransD用到了Scene Graph Completion（简称SGC）中。顾名思义，SGC是在已经有了生成好的scene graph的基础上对其进行补充，发掘检测到的物体之间遗漏掉的关系。

首先介绍一下TransE模型，对于知识图谱中的一个三元组（head，relation，tail），将relation看作从head到tail的翻译，即满足h+r≈t，其中h、r与t分别代表三个元素的向量形式。之后TransR对TransE进行了改进，因为每个实体其实是有多种属性的，而不同的关系考虑的是实体的不同属性，因此TransR中每个关系不仅有一个向量r表示，还有对应的映射矩阵M_r描述这个关系所处的关系空间，即需要满足hW_r+r≈tW_r。但是由于TransR的参数过多，于是又出现了TransD对其进行改进，TransD中不管是关系还是实体，都用两个向量表示，一个是普通的嵌入h、r、t，另一个则是用于得到TransR中的转换矩阵的表示，h_p、r_p和t_p（问题是如何得到这些表示）。比如对于实体h和关系r, 转换矩阵W_rh=r_p*h_p’。

上图是RLSV的架构，主要有两个模块：用于提取视觉特征的Visual Feature Extraction Module和进行embedding的Hierachical Projection Module。
Visual Feature Extraction Module没什么好说的，就是将bounding box

最低0.47元/天解锁文章