CVPR 2021 | Few-shot Image Generation via Cross-domain Correspondence 阅读笔记 & 部分翻译

Few-shot Image Generation via Cross-domain Correspondence

Author Unit: Adobe Research, UC Berkeley, UC Davis

Authors: Utkarsh Ojha${}^{1,2}$ Yijun Li${}^1$ Jingwan Lu${}^1$ Alexei A. Efros${}^{1,3}$ Yong Jae Lee${}^2$ Eli Shechtman${}^1$ Richard Zhang${}^1$

Code: https://github.com/utkarshojha/few-shot-gan-adaptation

Conference: CVPR 2021

Paper address: https://openaccess.thecvf.com/content/CVPR2021/html/Ojha_Few-Shot_Image_Generation_via_Cross-Domain_Correspondence_CVPR_2021_paper.html

Notion 版的笔记

Abstract

我们提出通过一种新的跨域距离一致性损失（cross-domain distance consistency loss）来 维持源中实例之间的相对相似性和差异性。为了进一步减少过拟合，我们提出了一种基于锚（anchor-based）的策略，以鼓励在潜空间中不同区域的不同层次的 realism。通过在 photorealistic 和 non-photorealistic 领域的广泛结果，我们定性和定量地证明了我们的 few-shot 模型自动发现了源和目标领域之间的对应关系，并产生比以前的方法更多样化和逼真的图像。

1. Introduction

我们探索了从源域中迁移另一种信息的方式来解决少样本的数据，这种信息为 how images relate to each other。直观上来说，如果模型在源域中可以维持实例间的相对相似性和差异性，则在适应新域的时候也有机会去继承这个多样性。

在两个域之间执行这种结构级 structure-level 对齐时，会出现一些有趣的属性。具体来说，当源域和目标域相关时（如人脸和漫画），我们的方法自动发现它们之间一对一的对应关系，能够更真实地模拟目标分布的多样性和图像的真实性，如图1所示。当这两个领域不相关时（例如，汽车和漫画），我们的方法无法建模目标分布，但仍然发现有趣的部分级 part-level 对应，以生成不同的样本。

由于少量的训练样本只形成了需要近似目标分布的一个小子集，我们发现有必要以两种不同的方式加强 realism，以不过分地惩罚生成的图像之间的多样性。 我们在一张合成的图像上应用一个图像级 image-level 的对抗损失，它应该映射到一个真实的样本。对于所有其他合成图像，我们只实施一个补丁级 patch-level 的对抗损失。这样，我们生成的样本中只有一小部分需要看起来像少量训练图像中的一个，而其余的只需要捕获它们的 patch-level 纹理。

2. Related work

Few-shot learning.

Domain translation.

Distance preservation. 为了缓解 gan 中的模式崩塌，DistanceGAN[2] 建议在相应生成的输出对中保留输入对之间的距离。类似的方案被用于无条件[25,17]和有条件[18,33]的生成任务，以增加生成的多样性。

3. Approach

We are given a source generator $G_s$, trained on a large source dataset ${\mathcal{D}}_s$, which maps noise vectors $z\sim p_z(z)\subset \mathcal{Z}$ , drawn from a simple distribution in a low-dimensional space, into images $x$. We aim to learn an adapted generator $G_{s\to t}$ by initializing the weights to the source generator and fitting it to a small target dataset ${\mathcal{D}}_t$. discriminator D.

$$\begin{array}{c}{\mathcal{L}}_{\text{adv }}(G,D)=D(G(z))-D(x)\\ G_{s\to t}^{\ast }\end{array}$$