jackzhang11的博客

这篇文章发表在ECCV2020上面，是基于STM的改进。简单回顾一下STM，这个算法模型综合利用了previous frame的信息，来帮助更好的预测分割mask，但存在的问题就是随着帧数的增加，由于需要把之前的帧信息存放到memory中，所以占用的内存以及计算法杂性会很高。虽然STM中给出了利用之前的某5帧的建议，但这样就不能对每一帧加以利用。因此，本文提出的Global Context Module就是解决这一问题的，利用这一种固定尺寸的特征表示，不仅可以充分利用之前每一帧的信息，还能减少网络模型的空

这篇论文发表在ECCV2020上面，是对于STM的改进。STM存在一个缺点，就是在做query和memory的key之间的matching时，将所有的情况都建立了联系，这种处理是一种non-local的方式，而VOS问题大多数情况下是一种local的情况。所以作者提出了一种Kernelized Memory Network（KMN）来解决这一问题；此外作者还采用了一种Hide-and-Seek策略（17年ICCV一篇若监督的论文），在预训练时人为地对图像的某些区域进行遮挡，以提升物体遮挡识别的鲁棒性。上

这篇CVPR2020的论文，和MAST的任务相仿，都是从training阶段就放弃annotation的使用，变成了彻头彻尾的无监督学习，为VOS任务提供了一个新的高效学习范式。不同的是这篇文章不仅可以用来做O-VOS(one shot半监督给定第一帧mask)，还可以用来做Z-VOS(zero shot无监督无第一帧mask)。文章采用multiple granularities的方式，来学习到多粒度的视频帧的特征表示，四种granularity如下：（1）frame granularity：通过

STM首次将Memory Network引入VOS领域，引申为一个space-tine的memory network，并实现了较好的分割准确率以及较快的速度。DAVIS2020大赛很多优秀的模型都是根据STM进行改造的，可见其具有很棒的指导意义和研究价值。在STM出现之间，VOS的方法基本包括以下三种：（1）Propagation-based methods：基于mask传播的方法，该方法主要利用前一帧的mask进行不断的传播，其好处是可以解决appearance变化较大的问题，且速度较快，但不适用于oc

本文简要概括VOS任务中两个最重要的评价指标，即J&F（全称应该是Jaccard和F-Score）。其中J描述的是预测的mask和gt之间的IOU，F描述的是预测mask边界与gt边界之间的吻合程度。下面分别进行介绍：JaccardJ的计算其实非常简单，就是单纯的计算预测mask和gt mask之间的IOU，即一个比值的形式：分子是预测mask和gt这两张图foreground部分的交，而分母部分就是两者之间的并集。其代码实现如下：def db_eval_iou(annotation,segm

论文地址：https://openaccess.thecvf.com/content_ICCV_2019/papers/Wang_RANet_Ranking_Attention_Network_for_Fast_Video_Object_Segmentation_ICCV_2019_paper.pdf这篇文章是ICCV19上一篇关于视频目标分割VOS的论文，工作相当nice。该论文通过提出了一种Ranking Attention Network，融合了matching和propagation两种算法，在速

论文题目：Online Adaptation of Convolutional NeuralNetworks for Video Object Segmentation论文链接：https://arxiv.org/pdf/1706.09364.pdfOnAVOS可以看作是在OSVOS上面进行的拓展。由于OSVOS并没有考虑时序因素，因此假如object的外观变化太大，那么对OSVOS来说就是一个不小的挑战。因此，这篇OnAVOS就是在OSVOS上面增加了两个extension，以解决large cha

论文题目：Fast End-to-End Embedding Learning for Video Object Segmentation论文链接：https://openaccess.thecvf.com/content_CVPR_2019/papers/Voigtlaender_FEELVOS_Fast_End-To-End_Embedding_Learning_for_Video_Object_Segmentation_CVPR_2019_paper.pdf这是19年cvpr上的一篇文章，主要是做

第一次看视频目标分割（Video Object Segmentation， VOS）的论文，选择了这篇比较经典的论文。论文链接：https://openaccess.thecvf.com/content_cvpr_2017/papers/Caelles_One-Shot_Video_Object_CVPR_2017_paper.pdfVOS问题大多是半监督问题，即给定某视频第一帧的mask，对于第一帧中标注的instance，预测接下来所有帧中的mask。例如下图中，第一帧给定了一个人的mask标注（红