记录读论文的过程,如果哪里不对,请各位大佬指正。
文章题目:Unsupervised Domain Generalization by Learning a Bridge Across Domains
文章地址:CVPR 2022 Open Access Repository
代码有无:有
Abstract:
The ability to generalize learned representations across significantly different visual domains, such as between real photos, clipart, paintings, and sketches, is a fundamental capacity of the human visual system. In this paper, different from most cross-domain works that utilize some (or full) source domain supervision, we approach a relatively new and very practical Unsupervised Domain Generalization (UDG) setup of having no training supervision in neither source nor target domains. Our approach is based on selfsupervised learning of a Bridge Across Domains (BrAD) an auxiliary bridge domain accompanied by a set of semantics preserving visual (image-to-image) mappings to BrAD from each of the training domains. The BrAD and mappings to it are learned jointly (end-to-end) with a contrastive selfsupervised representation model that semantically aligns each of the domains to its BrAD-projection, and hence implicitly drives all the domains (seen or unseen) to semantically align to each other. In this work, we show how using an edge-regularized BrAD our approach achieves significant gains across multiple benchmarks and a range of tasks, including UDG, Few-shot UDA, and unsupervised generalization across multi-domain datasets (including generalization to unseen domains and classes).
在截然不同的视觉领域(如真实照片、剪贴画、油画和素描之间)泛化所学表征的能力,是人类视觉系统的一项基本能力。在本文中,与大多数利用某些(或全部)源域监督的跨域工作不同,我们采用了一种相对较新且非常实用的无监督域泛化(UDG)设置,即在源域和目标域中都没有训练监督。我们的方法基于对跨域桥梁(Bridge Across Domains,BRAD)的自我监督学习,BRAD 是一个辅助桥梁域,并附有一组语义保存的视觉(图像到图像)映射,可从每个训练域映射到 BrAD。BrAD 及其映射与一个对比性自我监督表示模型共同学习(端到端),该模型将每个域与其 BrAD 投影进行语义对齐,从而隐式地促使所有域(见过或未见过)在语义上相互对齐。在这项工作中,我们展示了我们的方法如何利用边缘规则化 BrAD 在多个基准和一系列任务(包括 UDG、Few-shot UDA 和跨多域数据集的无监督泛化(包括对未见域和类的泛化))中取得显著收益。
0.abstract总结:
1.提出一种一种相对较新且非常实用的无监督域泛化(UDG)设置,即在源域和目标域中都没有训练监督。这种方法是基于BRAD的
2.介绍BRAD:BRAD 是一个辅助桥梁域,并附有一组语义保存的视觉(图像到图像)映射,可从每个训练域映射到 BrAD。BrAD 及其映射与一个对比性自我监督表示模型共同学习(端到端),该模型将每个域与其 BrAD 投影进行语义对齐,从而隐式地促使所有域(见过或未见过)在语义上相互对齐。
1.Introduction总结:
第一段:以人类视角举例引入,(个人感觉这种写法比较平易近人,让我有一种读下去的欲望)拥有可以在几乎无监督的情况下进行学习的基本能力。
第二段:介绍UDA和DG(以前的一些工作),从而引入UDG以及Few-Shot UDA (FUDA)
UDA:目标领域可以是一系列未标记的图像
DG:目标领域甚至可以在训练过程中完全不可见
对于 UDA 和 DG 来说,泛化的成功意味着所需的下游任务(分类、检测等)将成功转移到新的可见或未知领域。然而,在大多数 UDA 和 DG 工作中,都假定对预期的下游任务有丰富的源领域监督。(在现实生活中不常见,因为在现实生活中下游任务的数据没有那么丰富)
提出UDG和Few-Shot UDA (FUDA)。
本文目标:限制最少(在标注要求方面)的 UDG 设置,即在训练时不需要任何源域监督,而且进一步泛化到具有新的未见类别的全新未见视觉域。
第三段:介绍物体边缘(物体边缘似乎是我们观察到的所有领域的共同通用视觉表征。)
物体边缘是BrAD的方法支撑。
介绍是我们的方法(BrAD): "可学习的跨域桥梁"(Bridge Across Domains,BRAD)概念--这是一个辅助的视觉 "桥梁 "域,可以相对容易地在视觉上映射(在图像到图像的意义上)所有感兴趣的域。
过程简单介绍:BrAD 仅在我们的模型进行对比性自我监督训练时使用,用于将每个训练域的表征(特征)与共享 BrAD 的表征(特征)进

最低0.47元/天 解锁文章
820






