46、用于合成新数据的生成对抗网络

用于合成新数据的生成对抗网络

1. 生成对抗网络简介

生成对抗网络（GAN）的总体目标是合成与训练数据集具有相同分布的新数据。原始形式的 GAN 属于无监督学习任务，因为不需要标记数据。不过，原始 GAN 的扩展可以应用于半监督和监督任务。

GAN 的概念于 2014 年由 Ian Goodfellow 及其同事首次提出，最初的架构基于全连接层，类似于多层感知器架构，用于生成低分辨率的类似 MNIST 的手写数字，主要作为概念验证。此后，许多研究者对其进行了改进，并将其应用于不同领域，如计算机视觉中的图像到图像翻译、图像超分辨率、图像修复等。近年来，GAN 研究取得了进展，能够生成高分辨率的人脸图像，例如在 https://www.thispersondoesnotexist.com/ 上展示的合成人脸图像。

2. 从自编码器开始

在讨论 GAN 的工作原理之前，先了解自编码器。自编码器可以压缩和解压缩训练数据，虽然标准自编码器不能生成新数据，但理解其功能有助于理解 GAN。

自编码器由编码器网络和解码器网络串联组成：
- 编码器网络接收与示例 x 相关的 d 维输入特征向量 𝒙（𝒙∈𝑅𝑑），并将其编码为 p 维向量 z（𝒛∈𝑅𝑝），即 𝒛 = 𝑓(𝒙)。编码后的向量 z 也称为潜在向量或潜在特征表示，通常 p < d，因此编码器起到数据压缩的作用。
- 解码器从低维潜在向量 z 中解压缩出 𝒙̂，可表示为 𝒙̂ = 𝑔(𝒛)。

一个简单的自编码器架构，编码器和解码器部分各由一个全连接层组成。

自编码器与降维技术有关，当编码器和解码器子网络中没有非线性时，