Accepted by International Conference on Computer Vision(ICCV 2021),发文高校和企业为美国杜兰大学、美国Adobe系统公司。
目录
1.摘要
无监督域适应解决了在注释良好的源域和未标记的目标实例的共存下的知识迁移问题。UDA 的常见方法是通过学习域不变的特征表示来减少跨域分布差异。一般来说,这些方法可以大致分为基于差异的方法,以及基于对抗的方法,尽管这些方法取得了一定成功,但它们严重依赖两个域数据的可用性。
然而,由于数据隐私或小型设备的内存存储不足,许多实际应用中的源域并不总是可访问的。这种定义为无源域适应的场景仅允许访问训练良好的源模型以进行目标学习。
2.背景
数据隐私等实际问题与 UDA 设置之间的冲突激发了 Source-free Domain Adaptation 的新研究方向,只提供经过良好训练的源模型而不是经过良好注释的源数据来实现对目标数据的适应。
一些方法通过假设源分类器包含足够的知识,试图直接调整目标特征以适应源分类器,SHOT作为一种简单而有效的方法,冻结了源分类器,并集成了伪标签监督和熵最小化,以缩短目标特征与源分类边界之间的距离。
然而,当源域中的数据不平衡或不足时,由于源分类器的泛化能力较低,上述冻结分类器的方法性能下降。这些方法很难将具有大方差的丰富目标特征移动到小源分类边界。作者从另一个角度提出一个问题:能否在模型优化过程中寻求一种新的目标特定分类器,并使其适应目标特征。
3.思想
作者提出了一种新的自适应对抗网络(A2Net)来解决 Source-Free 域自适应问题。为了实现分类器的灵活调整并保留原始源知识,我们的工作首先引入了一种新的目标分类器,然后利用双分类器设计来实现对抗域级对齐和对比类别匹配(CCM)。
具体来说,根据源分类器和目标分类器的预测,我们自适应地将目标样本分为两类:源相似集和源不相似集。通过在双分类器和特征生成器之间建立这种对抗关系,A2Net 逐渐消除了源相似集和源不相似集之间的显著差异,并通过更新目标分类器来弥补冻结源分类器的缺陷。
为了进一步学习判别特征,我们的工作将包含两个任意目标图像的配对样本的关系视为三个级别:正、不确定和负对,并在所有正对上开发对比类别匹配以加强它们的关联。
4.创新与贡献
1.首先,所提出的 A2Net 集成了一个可用于优化的新的灵活分类器和冻结源分类器以形成我们用来自适应区分源相似目标的双分类器架构来自不同来源的样本并在它们之间实现对齐。
2.其次,A2Net 以自监督学习的方式学习鲁棒性和判别性特征