论文笔记STM:Video Object Segmentation using Space-Time Memory Networks

STM首次将Memory Network引入VOS领域,引申为一个space-tine的memory network,并实现了较好的分割准确率以及较快的速度。DAVIS2020大赛很多优秀的模型都是根据STM进行改造的,可见其具有很棒的指导意义和研究价值。在STM出现之间,VOS的方法基本包括以下三种:

(1)Propagation-based methods:基于mask传播的方法,该方法主要利用前一帧的mask进行不断的传播,其好处是可以解决appearance变化较大的问题,且速度较快,但不适用于occlusion,drift等问题;

(2)Detection-based methods:基于第一帧的mask,大部分方法需要进行online training,所以fine tune的时间会大大影响模型的性能,无法做到实时,但基于第一帧微调的模型会对occlusion等问题更加鲁棒;

(3)Hybrid methods:以上两种方法的混合产品,基于前一帧和第一帧来对当前帧进行预测分割,这样就融合了两者的优点,Hybrid的一些算法性能和精度也是比前两者优秀的。

因此本文的motivation就是基于Hybrid methods:我们如何设计网络模型,来合理利用更多frame的信息,以对当前帧的mask进行精准预测。因此本文设计了如下图所示的网络结构:

在这里插入图片描述
算法的流程大致是这样的:将前面的frame和mask都保存在一个external memory bank中,当对当前帧预测mask时,首先从memory bank中选出若干帧,将这些帧及其mask输入到Memory Encoder中,得到对应的key和value;然后将当前帧输入到Query Decoder中,得到Query的key和value。随后将Memory的key和Query的key进行内积运算以计算相似度,相当于一种时空

评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值