CVPR 2020 | MineGAN: Effective Knowledge Transfer From GANs to Target Domains With Few Images 阅读笔记

最新推荐文章于 2025-11-25 14:31:30 发布

原创

最新推荐文章于 2025-11-25 14:31:30 发布 · 2.6k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习 #计算机视觉 #人工智能 #机器学习 #图像识别

本文提出了一种新的生成模型知识迁移方法——MineGAN，它通过挖掘预训练GAN，识别最接近目标域的部分输出。使用矿工网络引导GAN采样向合适潜空间区域移动，避免模式崩溃，提高微调效率。实验表明，即使在目标图像有限的情况下，MineGAN也能有效迁移知识，优于现有方法，并能从多个预训练GAN中聚合信息。

MineGAN: Effective Knowledge Transfer From GANs to Target Domains With Few Images

Author Unit: CVL Linköping University Sweden, Computer Vision Center Universitat Aut` onoma de Barcelona Spain, Inception Institute of Artificial Intelligence UAE

Authors: Yaxing Wang $^1$ , Abel Gonzalez-Garcia $^1$ , David Berga $^1$ , Luis Herranz $^1$ , Fahad Shahbaz Khan $^{2,3}$ , Joost van de Weijer $^1$

Code: https://github.com/yaxingwang/MineGAN

Conference: CVPR 2020

Email: {yaxing,agonzalez,dberga,lherranz,joost}@cvc.uab.es, mailto:fahad.khan@liu.se

Paper address: https://openaccess.thecvf.com/content_CVPR_2020/html/Wang_MineGAN_Effective_Knowledge_Transfer_From_GANs_to_Target_Domains_With_CVPR_2020_paper.html

Notion 版的笔记

Abstract

我们提出了一种新的生成模型知识 transfer 方法，该方法基于从单个或多个预训练的 gan 中挖掘对特定目标领域最有利的知识。这是使用一个矿工网络 miner network 来完成的，该网络识别每个预训练 GAN 生成分布的哪一部分输出最接近目标域。Mining 有效地引导 GAN 采样向潜空间的合适区域移动，便于后验微调，避免了其他方法的模式崩塌、缺乏灵活性等弊病。我们使用各种 GAN 架构 (BigGAN, Progressive GAN) 在多个复杂数据集上进行实验，结果表明，所提出的方法，即 MineGAN，可以有效地将知识迁移到目标图像较少的领域，优于现有方法。此外，MineGAN 可以成功地从多个预训练的gan中转移知识。

1. Introduction

就在最近，Wang 等人研究了单个预训练生成模型的微调，并表明它对数据稀缺的领域是有益的。然而，Noguchi和Harada[25]观察到这种技术会导致模式崩溃。相反，他们建议减少可训练参数的数量，只微调可学习参数，用于生成器的批量归一化 (规模和位移)。尽管不太容易过度拟合，但他们的方法严重限制了知识转移的灵活性。

We introduce the process ofminingof GANs. 这是由矿工网络执行的，该网络将 多元正态分布 转换为预训练 GAN 输入空间（也就是目标空间）上的分布，使得生成的图像类似于目标域的图像。 矿工网络的参数比预训练的 GAN 少得多，因此不太容易过拟合。挖掘 mining 步骤使预训练的 GAN 倾向于从更接近目标域的潜在分布的较窄区域进行采样，这反过来又通过提供更清晰的训练信号和更低的方差来简化后续的微调步骤（与 [33] 中的从整个源潜在空间采样相反）。因此，我们的方法在防止过拟合的同时保留了微调的适应能力。

重要的是，我们的 mining 方法可以从多个预训练的 gan 中 transfer，这允许我们同时从多个来源聚合信息，生成类似于目标域的样本。我们证明了这些网络可以通过选择性反向传播过程进行训练。我们的主要贡献是：

我们引入了一种新的矿工网络来引导预训练 GAN 的采样分布迁移到由少量图像确定的目标分布。
我们第一个提出了将知识从多个 gan 转移到单个生成模型的方法。
我们在许多方面优于现有的竞争对手，包括从无条件的、有条件的和多个 gan 转移知识。

2. Related work

Generative adversarial networks.

Transfer learning for GANs.

Iterative image generation.

3. Mining operations on GANs

为了清晰起见，我们首先在第3.2节介绍从单个GAN进行挖掘，但我们的方法对于任意数量的预训练GAN是通用的，如第3.3节所述。然后，我们展示了如何使用矿工来训练新的GANs(章节3.4)。
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-dvDA6maO-1639107151428)(MineGAN%20Effective%20Knowledge%20Transfer%20From%20GANs%20to%20%202af0d1cfda584a72b6c225a8f7e3706d/fig_1.png)]

3.1. GAN formulation

3.2. Mining from a single GAN

我们想要近似目标数据的分布 $p^T_{data}(x)$ 。Mining 操作通过寻找 $p_g(x)$ 中最能够近似 $p^T_{data}(x)$ 的一个，来学习到一个新的生成分布 $p^T_g(x)$ ，其中 G 是固定的。为了找到这样的区域， mining 实际上找到了一个新的先验分布 $p^T_z(z)$ ，使得具有 $z∼p^T_z(z)$ 的样本 G(z) 与来自 $p^T_{data}(x)$ 的样本相似（见图 1a）。