【论文精读】Data Augmentation Generative Adversarial Networks（DAGANs）

最新推荐文章于 2025-03-24 22:00:40 发布

原创

最新推荐文章于 2025-03-24 22:00:40 发布 · 3.3k 阅读

11 ·

CC 4.0 BY-SA版权

文章标签：

#卷积神经网络 #深度学习 #计算机视觉 #数据增强

本文介绍了一种基于生成对抗网络的数据增强模型（DAGAN），它通过学习源域数据的不变性，生成多样化且合理的增强样本，从而改善了低数据情况下神经网络的训练和泛化。实验表明，DAGAN不仅增强了标准分类器，还在Matching Networks中实现了显著提升。研究集中在Omniglot、EMNIST和VGG-Face数据集上，展示了跨领域迁移的效果。

Data Augmentation Generative Adversarial Networks

文章目录

- - Data Augmentation Generative Adversarial Networks

摘要

神经网络的有效训练需要很多数据，在低数据情况下，参数是欠定的，学到的网络泛化能力差。

数据增强通过使用存在的数据有效的缓和了这个问题，但是标准的数据增强仅能产生有限的看似合理的用来代替的数据。鉴于有可能产生更广泛的增强数据，作者设计和训练了一种生成模型进行数据增强。

这种模型基于条件生成对抗模型，从源域获取数据，学习获取任何形式的数据并泛化成其他同类的数据。

由于这种生成过程不依赖于这些类别，所以它可能被用于新的未见过的数据种类。

作者展示了使用 $D A G A N$ 来很好地增强标准的 $v a n i l l a$ 分类器，同样也是展示了 $D A G A N$ 可以可以增强 $f e w - s h o t$ 学习系统，比如 $Matching\space Network$ 等。

作者在 $O m n i g h t$ 展示了这些方法，在 $E M N I S T$ 上展示的时候已经在omniglot和VGG脸部数据上学习了 $D A G A N$

实验中能够看到低数据体制实验的精确度。

$Matching\space Network$ 也有所提升。

1. 介绍

深度神经网络的长足发展离不开非常大的数据集。现实中，我们需要使用有限的数据集来实现目标，在这些情况下深度神经网络显得有些不足了，由于训练集上的过拟合以及测试集上糟糕的泛化能力。

在低数据体制中，很多用于控制过拟合的方法（BN、Dropout等）也显得不足，网络复杂度太高。这些方法不能利用一致的输入不变性，输入不变性可能形成良好的为参数学习提供信息的先验知识。

也可以通过对现有的数据进行多种变换（包括随机平移、旋转和翻转等）。来产生更多的数据。这些方法就利用了我们知道不会用影响类别的信息。这种技术不但对低数据体制来说非常重要，对任何规模的数据集都很重要。及时是在超大数据集，如 $I m a g e N e t$ 上训练的模型也能从这种方法中受益。

典型的数据增强技术使用了非常有限的已知不变性，这些不变性很容易被发现。

本文作者认识到可以通过学习一种来自不同域的条件生成对抗网络，学习到一个具有更大不变性空间的模型，一般称为源域。这种方法可以用于低数据的感兴趣域（目标域）。

作者展示了这样的 $D A G A N$ 能够开启有效的神经网络训练，即使在低数据目标域。因为 $D A G A N$ 不依赖于类本身，它捕捉跨类信息，将数据点移动到其他同类的点。结果是它能被用于新的未见过的种类， $图 2$ 说明了这一点

作者还展示了学习好的 $D A G A N$ 能被用于大幅度有效地提升 $Matching\space Networks$ ，它通过用从 $D A G A N$ 生成的每个类别的最相关比较点来增强 $Matching\space Networks$ 和相关模型中的数据，从而实现这一点。这与切线距离有关，但涉及到标定流形之间的距离（由DAGAN定义）， $见图 2$ 。