第二十章：CANet:具有迭代细化和专注少样本学习的无类别分割网络

原创

已于 2023-08-03 11:08:41 修改 · 908 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#学习 #深度学习 #人工智能 #机器学习 #神经网络 #cnn

于 2023-07-17 15:38:22 首次发布

CANet是一种无类别偏见的分割网络，能在少量标注图像下进行少样本分割。网络包含密集比较模块进行特征对比和迭代优化模块进行预测优化。通过注意力机制有效融合多个支持示例信息，提高分割性能。在PASCALVOC2012数据集上，1-shot和5-shot分割的平均交并比得分分别达到55.4%和57.1%，显著优于现有技术。

&原文信息

原文题目：《CANet: Class-Agnostic Segmentation Network with Iterative Refinement and Few-shot Learning》

原文引用：Zhang C, Lin G, Liu F, et al. Canet: Class-agnostic segmentation networks with iterative refinement and attentive few-shot learning[C]//Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2019: 5217-5226.

原文链接：https://openaccess.thecvf.com/content_CVPR_2019/papers/Zhang_CANet_Class-Agnostic_Segmentation_Networks_With_Iterative_Refinement_and_Attentive_Few-Shot_CVPR_2019_paper.pdfhttps://openaccess.thecvf.com/content_CVPR_2019/papers/Zhang_CANet_Class-Agnostic_Segmentation_Networks_With_Iterative_Refinement_and_Attentive_Few-Shot_CVPR_2019_paper.pdf

0.摘要

最近在语义分割方面的进展是由深度卷积神经网络和大规模标注图像数据集推动的。然而，像素级别的数据标注是繁琐和昂贵的。此外，训练好的模型只能在一组预定义的类别中进行预测。在本文中，我们提出了CANet，一种无类别偏见的分割网络，可以在只有少量标注图像的情况下对新类别进行少样本分割。我们的网络由两个分支的密集对比模块和迭代优化模块组成，前者在支持图像和查询图像之间进行多层次特征比较，后者在预测结果上进行迭代优化。此外，我们引入了一种注意力机制，以在k-shot学习的设置下有效地融合来自多个支持示例的信息。在PASCAL VOC 2012数据集上的实验表明，我们的方法在1-shot分割和5-shot分割方面分别达到了55.4%和57.1%的平均交并比分数，相比于现有技术方法，分别提高了14.6%和13.2%。

1.引言

深度卷积神经网络在许多视觉理解任务中取得了重大突破，包括图像分类[13,9,30]、物体检测[27,8,26]和语义分割[16,2,20]。其中一个关键原因是大规模数据集（如ImageNet [4]）的可用性，使得深度模型的训练成为可能。然而，数据标注是昂贵的，特别是对于密集预测任务，如语义分割和实例分割。此外，训练好的模型很难应用于预测新类别。与机器学习算法相比，人类在只看到少数示例时就能轻松地从图像中分割出一个新概念。人类和机器学习算法之间的差距促使我们研究少样本学习，旨在学习一个模型，能够在稀缺标注训练数据的情况下很好地泛化到新类别。

我们的网络包括一个两个分支的密集对比模块，其中一个共享的特征提取器从查询集和支持集中提取表示进行比较。密集对比模块的设计灵感来自于图像分类任务中的度量学习[37,31]，其中距离函数评估图像之间的相似性。然而，与每个图像都有一个标签的图像分类任务不同，图像分割需要对具有结构化表示的数据进行预测。直接将度量学习应用于密集预测问题是困难的。为了解决这个问题，一种直接的方法是对所有像素对进行比较。然而，一幅图像中有数百万个像素，比较所有像素对的计算成本极高。相反，我们的目标是从支持图像中获取一个全局表示进行比较。全局图像特征在分割任务中被证明是有用的[19,40,3]，可以通过全局平均池化轻松实现。在这里，为了只关注分配的类别，我们在前景区域上使用全局平均池化来过滤掉无关信息。然后将全局特征与查询分支中的每个位置进行比较，这可以看作是一种密集形式的度量学习方法。

在少样本学习的设置下，网络应能处理在训练过程中从未见过的新类别。因此，我们的目标是从卷积神经网络中挖掘可转移的表示用于比较。正如特征可视化文献[39,38]所观察到的那样，低层次的特征与低级线索（如边缘和颜色）相关，而高层次的特征与对象级概念（如类别）相关。我们关注可能构成未见类别共享的对象部分的中层特征。例如，如果CNN在训练时学习到了一个与车轮相关的特征，这个特征在新的车辆类别（如卡车和公交车）上进行特征比较时也可能是有用的。我们从CNN中提取多层次的表示进行密集比较。

由于同一类别内存在外观变化，同一类别的对象可能只共享少数相似的特征。密集特征比较不足以引导整个对象区域的分割。然而，这给出了一个重要的线索，即对象的位置。在半自动分割文献中，针对类别无关的分割给出了弱标注，例如带有点击或涂鸦标注的交互式分割[36,14]和带有边界框或极端点先验的实例分割[10,21]。在训练过程中学习到了定位对象区域的可转移知识。受到半自动分割任务的启发，我们希望在给定密集比较结果作为先验的情况下逐渐区分对象和背景。我们提出了一个迭代优化模块（IOM），它学习迭代地改进预测结果。改进以递归形式进行，即将密集比较结果和预测的掩膜发送到IOM进行优化，然后将输出递归地发送到下一个IOM。经过几次迭代的改进，我们的密集比较模块能够生成细粒度的分割图。在每个IOM内部，我们采用残差连接来有效地将预测的掩膜纳入到最后一个迭代步骤中。图1显示了我们的单次分割网络的概述。

以前的k-shot分割方法基于1-shot模型，它们使用非可学习的融合方法来融合单个1-shot结果，例如对1-shot预测或中间特征进行平均。相反，我们采用了一种注意机制来有效地融合来自多个支持示例的信息。

为了进一步减少少样本分割的标注工作量，我们探索了一种新的测试设置：我们的模型使用带有边界框标注的支持集来在查询图像