57、生成对抗网络（GAN）：原理、挑战与架构

生成对抗网络（GAN）：原理、挑战与架构

1. 训练GAN的难题

在训练过程中，生成器和判别器处于零和博弈中，不断试图胜过对方。随着训练推进，可能会达到博弈论中的纳什均衡，即假设其他参与者策略不变，任何一方改变自身策略都无法获得更好的结果。以交通为例，所有人都靠左行驶或靠右行驶都是纳什均衡。

对于GAN而言，理论上当生成器能生成完美逼真的图像，判别器只能随机猜测（50%真，50%假）时，达到纳什均衡。然而，这一均衡并不一定能实现。

GAN训练中最大的难题是模式崩溃，即生成器的输出逐渐变得缺乏多样性。例如，若生成器生成鞋子的能力变强，它会更多地生成鞋子图像，逐渐忘记生成其他类别的图像。同时，判别器也只能看到鞋子的假图像，从而忘记如何判别其他类别的假图像。最终，GAN可能会在几个类别之间循环，无法在任何一个类别上表现出色。

此外，由于生成器和判别器相互对抗，它们的参数可能会振荡且不稳定，训练可能会突然发散。而且，GAN对超参数非常敏感，需要花费大量精力进行调优。

为解决这些问题，研究人员提出了一些技术：
- 经验回放 ：将生成器每次迭代生成的图像存储在回放缓冲区中，训练判别器时使用真实图像和缓冲区中的假图像，降低判别器过拟合最新生成器输出的可能性。
- 小批量判别 ：测量批量中图像的相似度，并将该统计信息提供给判别器，使其能轻松拒绝缺乏多样性的假图像批次，鼓励生成器生成更多样化的图像。

2. 深度卷积生成对抗网络（DCGAN）

2014年的原始GAN论文尝试使用卷积层生成小图像，但训练较大图像的GAN很不稳定。2015