【论文阅读】基于可信赖渐进学习的双学生鲁棒弱监督语义分割

DuPL: Dual Student with Trustworthy Progressive Learning for Robust Weakly Supervised Semantic Segmentation

具有图像级标签的单阶段弱监督语义分割(WSSS)因其简化了其繁琐的多阶段语义分割而获得了越来越多的关注

类激活图(Class Activation Map, CAM)固有的模糊性，我们观察到一级管道经常会遇到由错误的CAM伪标签引起的确认偏差，从而影响其最终的分割性能
  
我们提出了一个具有可信赖渐进式学习(DuPL)的双学生框架

以便为每个子网产生不同的cam

两个子网相互监督，减轻了由于学习自己不正确的伪标签而造成的确认偏差
  

逐步引入更多可信的伪标签参与监督。此外，我们认为每个像素，甚至由于其不可靠而被从监督中丢弃，对于WSSS都是重要的

对这些丢弃的区域进行一致性正则化，提供对每个像素的监督

  

在PASCAL VOC 2012和MS COCO数据集上

  

一、介绍

  
弱监督语义分割(WSSS)旨在使用弱监督，如图像级标签，涂鸦和边界框，以减轻对像素级注释的依赖。

流行的作品通常遵循一个多阶段的流水线，即伪标签生成、细化和分割训练。

  

训练一个细化网络来对它们进行细化。最后，使用改进的伪标签以完全监督的方式训练分割模型。

为了简化多阶段过程，许多研究提出了同时产生伪标签和学习分割头的单阶段解决方案。
  

训练效率提高了，但表现仍然落后于多阶段的同行

CAM伪标签生成和分割监督同时进行，导致了CAM的确认偏差
  

对于单阶段管道，分割训练强制骨干特征与CAM伪标签对齐

分词头和CAM生成的主干特征是共享
  

• 不准确的CAM伪标签不仅阻碍了分割的学习过程
• 更严重的是强化了CAM的错误判断
    

最近的一阶段方法通常设置一个固定的高阈值来过滤不可靠的伪标签

这种策略未能充分利用对其模型的监督，固定的高阈值不可避免地会丢弃许多实际上具有正确CAM伪标签的像素

从监督中丢弃的不可靠区域往往存在于语义模糊的区域中

  

认为每个像素对分割都很重要，应该得到适当的利用

提出了一个具有可信赖渐进式学习的双学生框架，称为DuPL
  

具体操作：

• 在两个子网上施加了表示级差异约束。

• 建立了一种动态阈值调整策略，使更多的像素参与到分割监督中

• 克服CAM伪标签中的噪声，提出了一种基于高斯混合模型的自适应噪声滤波策略<