Instance Embedding Transfer to Unsupervised Video Object Segmentation阅读笔记

论文链接:https://arxiv.org/abs/1801.00908

论文简介

我们提出了一种通过传输封装在基于图像的实例嵌入网络中的知识来进行无监督视频对象分割的方法。实例嵌入网络为每个像素生成嵌入向量，以便识别属于同一对象的所有像素。虽然在静态图像上进行了训练，但实例嵌入在连续的视频帧上是稳定的，这使我们可以随时间将对象链接在一起。因此，我们将在静态图像上训练的实例网络适应视频对象分割，并将对象与光学流动特征相结合，而无需模型再训练或在线微调。

现状和不足

视频理解的一个重要任务是时间和空间中的对象定位。理想情况下，它应该能够使用尖锐的对象mask定位随时间推移的熟悉或新颖的对象，这被称为视频对象分割（VOS）。如果没有给出要分割的对象的指示，则该任务称为无监督视频对象分割或主要对象分割。

静态图像中的相关对象分割任务目前由基于FCN的方法主导[1]。这些神经网络需要具有图像对象标注的的大型数据集，如PASCAL [2]和COCO [3]。 视频分割数据集较小，因为它们更难以标注[4]。 因此，明确地训练神经网络用于视频分割相对来说更加困难。

论文方法

在论文中，提出了一种方法来转移在静态图像中学习的实例分割嵌入中封装的知识，并将其与对象得分和光流相结合，以对视频中的运动对象进行分割。我们认为适用于图像转移到视频情况时，实例嵌入是相对于使用前景/背景像素预测方法的更有用的特征。下图给出实际示例：

汽车是顶部视频中的前景，也是底部视频中的背景。为了解决这个问题，我们的方法获得了对象实例的嵌入，并识别了前景/背景的代表嵌入，然后根据代表嵌入对帧进行分段。 左：真相。 中间：通过PCA投影到RGB空间的嵌入的可视化，以及前景（品红色）和背景（蓝色）的代表点。 右：由所提出的方法产生的分割掩模。最后，通过在一组代表性前景或背景嵌入中找到最近邻居来对所有像素进行分类。这是一个非参数化过程，不需要视频特定的训练或测试监督。

论文贡献

（1）一种新的用于调整在静态图像上训练的实例分割模型用到视频上去的策略。
（2）该策略在DAVIS基准和FBMS基准测试中均优于先前发布的非监督方法，并且在测试时无需再训练任何网络即可接近半监CN的性能
（3）提出在没有监督对象的前提下选择前景的新标准，基于语义分数和轨道上的运动特征。
（4）深入了解实例分段嵌入随时间推移的稳定性。

采用无监督方法的好处

（1）尽管存在关注错误对象的风险，但可以在更多地方部署无监督方法，因为它们不需要用户交互来指定要分段的对象。由于我们对不需要用户互动的方法感兴趣，因此我们选择专注于无监督分割。
（2）半监督分割中微调可能需要几秒到几分钟，更长的微调通常会导致更好的分割。避免微调的时间成本进一步促使人们关注无监督方法。
论文细节
下图描述了所提出方法的概述：