【深度学习】生成式对抗网络原理与GAN/WGAN/WGAN-GP初步

最新推荐文章于 2024-12-09 10:56:02 发布

原创

最新推荐文章于 2024-12-09 10:56:02 发布 · 2.1k 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习 #人工智能

本文深入探讨生成对抗网络(GAN)的工作原理，及其在图像生成领域的应用。同时，介绍了WGAN及其GP改进版如何解决传统GAN存在的问题，如模式坍塌和训练不稳定等。

GAN

生成对抗网络（GAN, Generative Adversarial Networks）相比于CNN与RNN是一项比较新的技术，由Ian J. GoodFellow于2014年提出，随后不断发展，目前已经广泛用于图像生成、图像合成与图像增强领域。
GAN创新性地将机器学习中的生成模型与判别模型结合了起来，其目的从数学的角度来讲是训练得到的生成器能够通过输入随机的噪声生成符合指定分布的数据，例如图像数据，从而起到图像合成、生成等一系列目的。
通俗地讲，GAN采用了一种博弈的思想，通过设置特殊的代价函数，使生成器生成分类器越来越难以分辨的数据，而分类器经过训练又逐渐提高其区分生成数据分布与真实分布数据的能力。最终两者不断促进，分类器的分辨能力不断提高，生成器生成的数据越来越符合指定分布，几乎能够以假乱真。
这样巧妙的思路自然也是在数学理论支撑之上的。对于GAN，除了设计两者合理有效的模型，很关键的一点是设计的代价函数，这是因为代价函数的设计决定了学习的最终目标与学习的效果。
尽管GAN出现于最近10年，其数学理论可以追溯到最大化均值差异（MMD），其用来衡量两个数据分布的差异性程度。
理论上，如果两个分布一致，其均值相同且对于各种复杂的非线性变换得到的结果均值应该仍然相同。其实这里说数学期望更加准确，但为了简化以及针对有限的数据，往往采用均值来计算。其公式如下：

这样的公式对SGD并不优化，因为均值和数学期望一般都是建立在完整的数据下。经过调整，将平方更改为内积，得到的公式如下：