VTransE(CVPR 2017)
文章
Paper自称VtranE是第一个采用full-conv的end-to-end的relation detection架构,是同时进行object detection和relation detection的。VTransE将object特征转换到一个低维的relation空间,在这个空间里,relation可以被建模成简单的转换向量(translation vector),比如:

直观地表示就如下图:

注意这里的predicate(谓语)可以是verb,spatial(如above),preposition(如with),comparative(如taller)。可以说visual relation是沟通了视觉和语言的桥梁。
VTransE的创新点有两处:1.避免了对object pair遍历进行复杂计算的情况,只需要计算每个object在relation space的特征向量,然后便可以用减法得到它们之间的relation,大大减小了计算复杂度和学习的难度?2.显式地在object和predicate之间整合了knowledge transfer,即提取了object的三种特征(类别概率,bbox坐标,roi特征)用于transfer embedding的提取??这段不是很懂 。
Visual relation model可以划分为两种:1.joint model,将一个triplet考虑为一个类别;2.s

VTransE是一种全卷积的端到端视觉关系检测框架,结合对象检测和关系检测。通过将对象特征转换到关系空间,以简单的转换向量表示关系,降低计算复杂度。该模型包括创新的转移嵌入和联合与分离模型。然而,它存在如处理null关系和缺乏上下文考虑等挑战。
最低0.47元/天 解锁文章
2200





