Domain Generalization by Solving Jigsaw Puzzles----论文翻译

目录

 

Abstract

Introduction

The JiGen Approach

Extension to Unsupervised Domain Adaptation

Implementation Details

Experiments

 Patch-Based Convolutional Models for Jigsaw Puzzles

Multi-Source Domain Generalization 

Conclusions

---

• Abstract

　　人的适应能力主要依赖于通过有监督和无监督学习方法来学习和融合知识的能力：父母指出一些重要的概念，孩子们自己填补空白。这是非常有效的，因为有监督的学习永远不会是详尽无遗的，因此自主学习可以发现有助于归纳的不变性和规律性。在本文中，我们建议对跨域的对象识别任务应用类似的方法：我们的模型以监督的方式学习语义标签，并通过学习自监督的信号如何在相同的图像上解决拼图游戏来拓宽其对数据的理解。这一次要任务有助于网络学习空间相关性的概念，同时充当分类任务的正则化器。在PACS，VLCS，Office-Home和数字数据集上进行的多次实验证实了我们的直觉，并表明这种简单的方法优于以前的域泛化和域适应的解决方案。消融学习进一步说明了我们的方法的内部运作过程．

• Introduction

　　在当前对人工智能系统的淘金热中，越来越明显的是，如果没有转换知识，在任务，领域和类别之间有泛化性，那么智能就很有限[11]。计算机视觉研究的很大一部分专门用于有监督方法，这些方法在明确定义的环境中使用卷积神经网络获得显着的结果，但是在尝试这些类型的泛化时仍然很困难。针对跨域泛化的能力，社区迄今为止主要通过有监督学习过程来攻克这个问题，该过程搜索能够捕获基本数据知识的语义空间，而不管输入图像的具体外观如何。现有方法包括将图像样式与共享对象内容[3]分离，将不同域的数据拉到一起并施加对抗条件[28,29]，直至生成新样本以更好地覆盖任何未来目标所涵盖的空间[40 ，47]。为了获得通用特征嵌入的类似目的，研究者最近在无监督学习领域中寻求另一种研究方向。主要技术基于定义：对学习通过补丁[36,10,38]的空间共址，计数基元[37]，图像着色[50]，视频帧排序[33,48]和其他自监督的信号捕获的视觉不变性和规律性有用的任务。

　　由于未标记的数据在很大程度上是可用的，并且它们本质上不太容易产生偏差（没有标记偏差问题[45]），因此它们似乎是提供独立于特定领域样式的视觉信息的完美候选者。 尽管它们具有巨大的潜力，但现有的无监督方法通常伴随着特定的架构，这些架构需要专门的微调策略来重新设计所获得的知识，并使其可用作标准监督训练过程的输入[38]。 此外，这种知识通常应用于真实世界的照片，并且没有挑战过与具有其他性质的图像比如绘画或者草图的非常大的域间隙．

      从图像学习内在规律和跨域的稳健分类之间的这种明显分离与生物系统的视觉学习策略，尤其是人类视觉系统的视觉学习策略形成对比。事实上，许多研究都强调婴儿和幼儿同时学习对物体和相关规律进行分类[2]。例如，婴幼儿的流行玩具通过将它们装入形状分类器来教授识别不同的类别;在12-18个月大的时间里，动物或车辆的拼图游戏鼓励学习对象部分的空间关系。这种类型的联合学习无疑是人类在幼年时期达到复杂视觉概括能力的关键因素[16]。

　　受此启发，我们提出了第一个端到端架构，该架构同时学习如何跨域泛化以及图像部分的空间共址（图1,2）。在这项工作中，我们专注于从其打乱的部分恢复原始图像的无监督任务，也称为解决拼图游戏。我们展示了如何将这种流行的游戏重新作为一个侧面目标，与不同源域上的对象分类共同优化，并通过简单的多任务流程提高泛化能力[7]。我们将基于Jigsaw puzzle的泛化方法命名为JiGen。与之前处理单独图像补丁并在学习过程结束时重新组合其特征的方法不同[36,10,38]，我们在图像级别移动补丁重新组装，并将拼图任务形式化为面对尺寸相同的重组图像与原始图像的分类任务。通过这种方式，对象识别和补丁重新排序可以共享相同的网络主干，并且我们可以无缝地利用任何卷积学习结构以及几个预训练模型，而无需进行特定的体系结构更改。

       我们证明JiGen允许更好地捕获多个源域的共享知识，并充当单个源域的正则化工具。 在目标数据的未标记样本在训练时可用的情况下，在它们上运行无监督拼图任务有助于特征适应过程并且显现出对于现有技术的无监督域自适应方法有竞争力的结果。

• The JiGen Approach

        从多个源域的样本开始，我们希望学习一种能够在覆盖同一类别的任何新目标数据集上表现良好的模型。我们假设保留个域，其中第个域包含个带标签的样本对