Improving Few-Shot Part Segmentation using Coarse Supervision学习笔记

摘要

鉴于部件分割中训练网络详细标注的开销巨大瓶颈问题，论文提出一个可利用诸如图像背景Mask、关键点位置信息等易获得的粗粒度标签信息的框架，借此优化部件分割模型。框架面临的第一个挑战是粗粒度标记来自不同的任务并且具有不同的标记类型，很难直接映射到部首标记。为此，我们提出联合训练部首分割模型和粗粒度标记类型，深度学习他们之间的依赖关系，从而可以利用现有的粗粒度信息。为了评估方法的优劣，我们在加州理工大学UCSD鸟类和OID飞机数据集上开发了一个基准。实验证明我们的方法优于基于多任务学习、半监督学习和竞争性方法的基线，这些方法依赖于手动设计的利用稀疏监督的损失函数。

1、背景介绍

用于标记部件的精确模型有许多应用。它们可以帮助完成精细的识别任务，如估计动物的形状和大小、物种识别，并支持图像编辑和动画等图形应用。一个显著的瓶颈是收集可用于监督网络训练的标注信息成本巨大。然而，许多情况下数据集得到替代标签，例如对象边界框、图形背景遮罩或关键点相对容易，这些替代标签可以考虑作为监督的来源。但这些标签的细节和结构往往不同，例如，边界框和遮罩比部件标签粗糙，而关键点则过于稀疏。因此，它们不能轻易地“翻译”成零件标签，用以直接监督学习。

论文提出一个可利用数据集自带的诸如图像背景Mask、关键点位置信息等粗粒度标签信息来进行训练部首分割的框架模型。框架基本原理如图1所示。

 将部件标签视为隐变量，在贝叶斯设置中联合学习部件分割模型和标签样式之间的未知依赖关系（详见3部分）。通过深度神经网络来建模粗标记和部件分割之间的关系，这样粗略标签就可以进行监督训练神经网络。一个技术挑战是，贝叶斯推理需要对高维潜在分布进行抽样，这通常是难以解决的。我们通过做出某些条件独立性假设来解决这个问题，并开发了一个用于学习的摊销推理程序。我们的方法允许使用现成的图像分割网络和标准的反向传播机器进行训练。

总结论文贡献包括：1）一个使用现有数据集的各种粗监督标记学习部件分割模型的框架；2） 一种有效的摊销推断方式，比主要的粗监督方法（例如PointSup[4]）慢大约3倍，并且更准确；3） 从CUB和OID飞机数据集上的几个标记示例评估零件分割的两个基准；4）对各种设计选择进行系统评估，包括初始化对迁移学习的作用，以及各种形式的粗糙标签的相对好处。

2、相关工作

2.1弱监督图像分割

以前的工作使用分类标签、边界框或图像中稀疏位置（如点或线）的监督。

Zhou等人[33]使用图像级的类别标注监督信息，通过探索类别响应峰值使分类网络能够很好地提取实例分割mask,文[1, 34]使用以前的图像分类模型生成伪ground tr