论文笔记STM：Video Object Segmentation using Space-Time Memory Networks

STM首次将Memory Network引入VOS领域，引申为一个space-tine的memory network，并实现了较好的分割准确率以及较快的速度。DAVIS2020大赛很多优秀的模型都是根据STM进行改造的，可见其具有很棒的指导意义和研究价值。在STM出现之间，VOS的方法基本包括以下三种：

（1）Propagation-based methods：基于mask传播的方法，该方法主要利用前一帧的mask进行不断的传播，其好处是可以解决appearance变化较大的问题，且速度较快，但不适用于occlusion，drift等问题；

（2）Detection-based methods：基于第一帧的mask，大部分方法需要进行online training，所以fine tune的时间会大大影响模型的性能，无法做到实时，但基于第一帧微调的模型会对occlusion等问题更加鲁棒；

（3）Hybrid methods：以上两种方法的混合产品，基于前一帧和第一帧来对当前帧进行预测分割，这样就融合了两者的优点，Hybrid的一些算法性能和精度也是比前两者优秀的。

因此本文的motivation就是基于Hybrid methods：我们如何设计网络模型，来合理利用更多frame的信息，以对当前帧的mask进行精准预测。因此本文设计了如下图所示的网络结构：

算法的流程大致是这样的：将前面的frame和mask都保存在一个external memory bank中，当对当前帧预测mask时，首先从memory bank中选出若干帧，将这些帧及其mask输入到Memory Encoder中，得到对应的key和value；然后将当前帧输入到Query Decoder中，得到Query的key和value。随后将Memory的key和Query的key进行内积运算以计算相似度，相当于一种时空