【TIP2022】物以类聚：领域自适应分割的类别-发散指导

---

Birds of A Feather Flock Together: Category-Divergence Guidance for Domain Adaptive Segmentation
Paper ：https://arxiv.org/pdf/2204.02111

---

Abstract

目前的无监督域自适应(UDA)模型侧重于通过最小化源域和目标域之间的特征差异来缓解域的偏移，但通常忽略了类混淆问题。在本工作中，我们提出了一种类间分离和类内聚集(ISIA)机制。它鼓励了相同类别之间的跨领域代表性一致性和不同类别之间的差异。通过这种方式，属于相同类别的特征被对齐在一起，可混淆的类别被分开。通过测量每个类别的对齐复杂性，我们设计了一个自适应加权实例匹配(AIM)策略，以进一步优化实例级的自适应。基于我们提出的方法，我们还提出了一个分层无监督的领域自适应框架。通过进行图像级、特征级、类别级和实例级的对齐，该方法获得了较强的泛化性能。

---

一、METHOD

分割和对抗性适应. 我们专注于通过最小化源域和目标域之间的差异来训练一个语义分割模型。首先，训练一个模型G，从标记数据中提取知识，以最小化源域的分割损失：

其中yik和pik分别表示像素i上k类的地面真概率和k的预测概率。其次，一种基于对抗的UDA方法通过欺骗域鉴别器D来训练G学习域不变特征，而域鉴别器D能够区分属于源域或目标域的样本。这一目标是通过最小化Eqn（2）中定义的对抗性损失来实现的。

A. Global Feature level Adaptation

我们在输出空间[14]上施加一个传统的GAN结构，以全局最小化源域和目标域之间的特征分布差异。鉴别器D将区分g的生成输出，生成器G是由一个特征提取器F和分类头C和G=F◦C我们最小化特征分布差异源域和目标域通过优化对抗的目标函数如下：
S为softmax操作。而鉴别器试图通过优化鉴别器的目标函数来区分特征形成的领域，如下：

B. Divergence-driven Category level Alignment

均匀特征的分布差异和异构特征的混淆是域差距的关键部分。对于跨不同域的类别级对齐，我们提出了一种类间分离和类内聚合(ISIA)机制。该ISIA的关键思想是关闭相同类别之间的特征分布距离，并扩展源域和目标域中不同类别之间的特征分布距离。
我们将xˆs和xt馈入一个共享的编码器F和两个单独的解码器{DS，DT}，以捕获以下特征：

我们的目标是缩小源域特征和目标域特征之间的距离。对于属于不同类别的特征，其目标是分离特征分布。我们使用余弦距离来衡量不同类别的特征相似性：

因为余弦距离从-1到1，这里我们设计方程。（7）将距离值归一化为[0,1]，以方便训练。

在这里，对于跨域的所有类别，我们将更接近那些属于同一类别的特征，并推开那些属于不同类别的特征。具体地说，我们使用方程式中定义的l1范数和余弦相似度。（7），分别测量相同类别和不同类别之间的嵌入距离。类间分离和类内聚合损失的定义为：

C. Category-guided Instance level Alignment

[15]将对象分割成背景内容，这些内容通常在不同的领域中具有相似的外观，并且在图像之间通常有更大的差异。这表明，前景的类可能在不同的领域之间造成了最大的差异。基于这一观察结果，我们关注于具有巨大外观变化的前景类，并设计了一种自适应加权实例匹配(AIM)策略。但是，由于缺乏来自源域的实例级注释，我们首先通过在标签映射L遵循[15]中查找每个类的断开区域来生成实例掩码。通过将类内语义区域粗分割为多个实例，将一幅图像中的实例级特征表示表示如下：

考虑到类别级别对齐。我们建立了一个排名列表来衡量跨领域的类别级适应的复杂性。我们将每个类的类别级适应复杂性表示为Rac={ζk|k=1,2，…，Nins}，其中Nins是实例的类别数。ζk由Eqn计算。 (10).

因此，可以通过最小化跨域实例匹配损失，进一步减少跨源域和目标域的实例特征：

D. Integrated Objective

我们以一种两步式的方式来训练我们的模型。首先，由于缺乏目标域标签，我们用Eqn中定义的初始步骤来训练我们的模型。 (12).

然后，我们使用与[15]相同的自监督学习方法，对目标域训练集图像中的预测标签具有高置信度的像素生成伪标签。最后，我们对我们提出的模型进行了重新训练如下：

二、EXPERIMENTS

---