WGAN:Wasserstein生成对抗网络

WGAN: Wasserstein 生成对抗网络

1. 背景介绍

生成对抗网络(Generative Adversarial Networks, GANs)是近年来机器学习领域最为重要的突破性进展之一。它由 Ian Goodfellow 等人在 2014 年提出，通过训练两个相互竞争的神经网络模型 - 生成器(Generator)和判别器(Discriminator) - 来学习数据分布,从而生成新的、逼真的样本数据。

GAN 模型自提出以来取得了非常出色的性能,在图像、语音、文本等多个领域都有广泛应用。然而,GAN 的训练过程通常很不稳定,模型容易出现梯度消失、模式崩溃等问题。针对这些问题,Wasserstein GAN (WGAN) 在 2017 年被提出,它采用 Wasserstein 距离作为判别器的目标函数,大幅改善了 GAN 的训练稳定性。

2. 核心概念与联系

2.1 Wasserstein 距离

Wasserstein 距离,也称为地球移动距离(Earth Mover's Distance, EMD),是度量两个概率分布之间距离的一种方法。与常见的 KL 散度或 JS 散度不同,Wasserstein 距离能更好地捕捉两个分布之间的差异。

给定两个概率分布 $P$ 和 $Q$, Wasserstein 距离定义为:

$$ W(P, Q) = \inf_{\gamma \in \Pi(P,Q)} \mathbb{E}_{(x,y