【CVPR2022】论文阅读笔记Semi-Supervised Semantic Segmentation Using Unreliable Pseudo-Labels

最新推荐文章于 2024-08-09 08:00:00 发布

原创

最新推荐文章于 2024-08-09 08:00:00 发布 · 1.3k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#论文阅读 #计算机视觉 #深度学习

本文介绍了一种创新的半监督语义分割方法，通过区分可靠和不可靠伪标签，将低置信度预测用于负样本生成，从而平衡类别训练。通过自适应阈值调整和类别级内存池，U2PL在PASCALVOC和Cityscapes上超越现有SOTA。

Semi-Supervised Semantic Segmentation Using Unreliable Pseudo-Labels

使用不可靠伪标签的半监督语义分割

论文地址：https://arxiv.org/abs/2203.03884

代码地址：https://haochen-wang409.github.io/U2PL.

摘要

半监督语义分割的关键是给无标签图像的像素分配适当的伪标签。通常的做法是选择高置信度的预测作为伪标签，但这导致了一个问题，即大部分置信度低的预测可能会被弃用。即使有些像素的预测是模糊的，我们也认为每个像素对模型训练都很重要。一个不可靠的预测可能会与在Top类(即概率最高的类)混淆。然而，它应该确定该像素不属于其余的类。因此，对于那些最不可能的类别，这样的像素可以视为负样本。基于这一发现，我们提出了一个有效的方法来充分利用未标记的数据。具体来说，我们通过预测结果的熵图来分离可靠和不可靠的像素，把每个不可靠的像素推到一个由负样本组成的分类队列中，并利用所有候选像素来训练模型。考虑到训练进程，预测结果越来越精确，因此我们自适应调整区分可靠-不可靠的阈值。在各种基准和训练设置上的实验结果表明，我们的方法优于SOTA方法

动机

现有的监督学习的方法需要大量的有标注数据，但是标注数据需要在实际中需要大量成本。因此半监督学习语义分割应运而生，如何充分利用无标签数据至关重要。现有的方法通过置信度分数过滤预测结果。也就是说，高置信度的预测被用作伪标签，而低置信度的则被丢弃。这可能造成一些像素可能在训练过程中一直没有被学习到，从而导致类别不平衡训练。因此，我们认为要想充分利用无标签数据，每个像素都应该被合理的利用。