qq_43656233的博客

半监督语义分割方法是缓解语义分割中标注消耗高问题的主要解决方案。然而，类不平衡问题使得模型偏向于训练样本充足的头类，导致尾类的性能较差。为了解决这个问题，我们提出了一种基于师生模型的解耦半监督语义分割（DeS4DeS^4DeS4）框架。具体来说，我们首先提出了一种解耦训练策略将编码器和分段解码器的训练分开，以实现平衡解码器。然后，提出了一种基于不可学习原型的分割头来正则化类别表示分布一致性，并在教师模型和学生模型之间进行更好的连接。此外，提出了一种多熵采样（MES）策略。

半监督语义分割的关键是为未标记图像的像素分配足够的伪标签。常见的做法是选择高度置信的预测作为伪真实值，但这会导致大多数像素由于不可靠而可能未被使用的问题。我们认为每个像素对模型训练都很重要，即使它的预测是模糊的。直观上，不可靠的预测可能会在顶级类别（即具有最高概率的类别）之间混淆，但是，它应该对不属于其余类别的像素充满信心。因此，这样的像素可以令人信服地被视为那些最不可能的类别的负样本。基于这一见解，我们开发了一个有效的管道来充分利用未标记的数据。具体来说，我们通过预测熵分离可靠和不可靠的像素。

这项工作提出了一种半监督语义分割的新方法。这种方法的关键要素是我们的对比学习模块，它强制分割网络为整个数据集中的同类样本产生相似的像素级特征表示。为了实现这一目标，我们维护一个，该不断更新来自标记数据的相关且高质量的特征向量。在端到端训练中，标记和未标记数据的特征都被优化为与Memory Bank中的同类样本相似。我们的方法不仅优于当前半监督语义分割的最新技术，而且还优于众所周知的公共基准的半监督域适应，在最具挑战性的场景（即可用标记数据较少）上有更大的改进。代码可在获取。