第五章：通过对抗擦除的目标区域挖掘：一种简单的语义分割方法

0.摘要

        我们研究了一种逐步挖掘具有鉴别性的物体区域的原则方法，使用分类网络来解决弱监督语义分割问题。分类网络只对感兴趣对象中的小而稀疏的鉴别性区域有响应，这与分割任务的要求相背离，分割任务需要定位密集、内部和完整的区域以进行像素级推理。为了缓解这种差距，我们提出了一种新的对抗擦除方法，逐步定位和扩展物体区域。从一个小的物体区域开始，我们的方法通过以对抗性的方式擦除当前挖掘的区域，驱动分类网络依次发现新的和补充的物体区域。这些定位的区域最终构成了用于学习语义分割的密集而完整的物体区域。为了进一步提升通过对抗擦除发现的区域的质量，我们开发了一种在线禁止分割学习方法，通过提供由更可靠的分类分数调节的辅助分割监督，与对抗擦除相协作。尽管看起来很简单，但是提出的方法在PASCAL VOC 2012验证集和测试集上分别达到了55.0%和55.7%的平均交并比(mIoU)得分，成为了新的最先进方法。

1.引言

        深度神经网络(DNNs)在语义分割任务上取得了显著的成功[2,13,15,33]，可以说这要归功于可用的像素级注释掩码资源。然而，为了在新的图像集上训练语义分割网络，收集大量精确的像素级注释是一项劳动密集型工作，不可避免地需要大量的财务投入。为了减轻对昂贵的像素级图像注释的需求，弱监督方法[10,12,14,16–20,22–24,28,29]提供了一些有希望的解决方案。

        在各种程度的弱监督信息中，可以用于训练语义分割模型的最简单和最有效的是图像级注释[30,32]。然而，仅凭这样的图像级注释训练一个性能良好的语义分割模型是相当具有挑战性的——一个障碍是如何准确地将图像级标签分配给相应的训练图像像素，以使基于DNN的方法能够学习端到端地进行图像分割。为了建立所需的标签-像素对应关系，一些方法被开发出来，可以分为基于提议和基于分类的方法。基于提议的方法[20,28]经常详尽地检查每个提议以生成像素级的掩码，这非常耗时。相比之下，基于分类的方法[10,16–19,24]提供了更高效的替代方案。这些方法利用分类模型选择最具鉴别性的区域作为像素级语义分割学习的监督。然而，对象分类模型通常只能识别和依赖于对象中一个小而稀疏的鉴别性区域（如图1(a)中分类网络生成的热图所示）。这与分割任务需要定位密集、内部和完整的区域以进行像素级推理的要求背离。这种偏离是适应分类模型解决分割问题的主要障碍，并且会影响到分割结果。为了解决这个问题，我们提出了一种新的对抗擦除（AE）方法，能够逐步驱动分类网络学习完整的对象区域。AE方法可以看作是建立了一系列竞争者，试图挑战分类网络，直到没有可支持的证据为止，发现某个特定类别的证据。

        具体而言，我们首先使用图像级的弱监督信息，即对象类别注释，训练一个图像分类网络。该分类网络用于定位图像中最具区分性的区域，以推断对象的类别。然后，我们从图像中擦除发现的区域，以破坏分类网络的性能。为了弥补性能下降，分类网络需要定位另一个区分性区域，以正确分类图像。通过这种重复的对抗擦除操作，分类网络能够挖掘出属于感兴趣对象的其他区分性区域。这个过程在图1(a)的示例中进行了说明，其中头部是分类"dog"图像最具区分性的部分。擦除头部并重新训练分类网络后，另一个具有区分性的部位身体会出现。重复这样的对抗擦除可以定位出越来越具有诊断图像类别的区域，直到没有更多的信息区域为止。最后，擦除的区域被合并形成像素级的语义分割掩码，可用于训练分割模型。图1(b)中展示了更多的可视化示例。

        然而，AE方法可能会错过一些与对象相关的区域，并且由于对边界的注意力较少，可能会引入一些噪声。为了利用这些被忽视的与对象相关的区域，并减轻噪声，我们进一步提出了一种补充的在线禁止分割学习（PSL）方法，与AE一起工作，以发现更完整的对象区域并学习更好的语义分割模型。 具体而言，PSL利用预测的图像级分类置信度来调节相应的类别特定响应图，并将其形成辅助分割掩码，该掩码可以以在线方式更新。那些具有低分类置信度的类别特定分割图被禁止对形成的监督掩码做出贡献，因此可以有效减少噪声。 总之，我们的主要贡献有三个：

        • 我们提出了一种新的AE方法，可以有效地使图像分类网络不断挖掘和扩展目标对象区域，并最终生成可用于训练分割模型的连续对象分割掩码。

        • 我们提出了一种在线PSL方法，利用图像级分类置信度来减少监督掩码内的噪声，并实现分割网络的更好训练，与AE协作。

        • 我们的工作在PASCAL VOC分割基准的验证集和测试集上分别达到了55.0％和55.7％的mIoU值，这是新的最先进水平。

 图1.(a)所示为提出的AE方法的示意图。使用AE方法，一个分类网