《Structure Inference Net》笔记

《Structure Inference Net》笔记介绍了如何利用图像上下文和对象关系进行目标检测。SIN构建图网络,其中对象为节点,关系为边,通过GRU进行信息传递和推理,增强节点信息,用于分类和bbox回归。

Introduction

这是一篇关于利用图像信息(scene-level context)和对象关系信息(object-object relationships)的目标检测网络。该论文把图像上的对象和对象之间的关系建模成一个图网络,如下图所示,每一个检测对象是图网络中的一个结点,而对象之间的关系(object-object relationship)是图网络的边。图网络包括结点VVV、有向边EEE和全景信息sss(scene)。
Graph Problem

要理解这篇论文要知道怎么生成图网络G=(V,E,s)G=(V,E,s)G=(V,E,s)和如何用这个图网络进行推理。

Structure inference network

Structure inference network (SIN) 的架构如下
SIN: The framework of Our Method
图像经过RPN网络后会得到ROIs,表示图像上的对象。每个ROI经过ROI Pooling和FC得到visual feature,表示图的结点node,传入Structure inference网络中。整张图像也当成一个ROI经过同样的操作生成feature scene(对scene-level context进行编码)传入Structure inference网络中。接着对对象的关系进行编码edges,同样传入Structure inference网络中。图网络的推理过程用循环网络的门控循环单元(Gated Recurrent Unit, GRU),推理过程不断更新结点的信息,最后的结点信息用于分类和bbox回归。

Structure Inference

图推理过程如下
Structure Inference
对于某个对象结点viv_ivi,图上另外的对象分别表示v1,v2,v3v_1, v_2, v_3v1,v2,v3。Scene GRU 和 Edge GRU 设计用于传递信息。

Scene GRU 用于传递对象信息。GRU是循环网络的门控循环单元,它有一个隐藏(记忆)单元,隐藏单元用图像结点特征fivf_i^vfiv进行初始化,然后把全景内容信息mis=fsm_i^s=f^smis=fs输入到Scene GRU中,这样Scene GRU输出的隐藏单元hsh^shs就包括对象信息和全图信息。

Edge GRU 用于传递对象关系信息。同样用fivf_i^vfiv初始化 Edge GRU的隐藏单元。Visual relationship vector用fivf_i^vfivfjvf_j^v

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值