48、生成对抗网络：合成新数据的利器

生成对抗网络：合成新数据的利器

1. 生成对抗网络简介

生成对抗网络（GAN）的总体目标是合成与训练数据集具有相同分布的新数据。原始形式的 GAN 属于无监督学习任务，因为不需要标记数据，但它的扩展形式也可用于半监督和监督任务。

GAN 的概念最早于 2014 年被提出，最初的架构基于全连接层，类似于多层感知机，用于生成低分辨率的类似 MNIST 的手写数字，主要作为概念验证。此后，众多研究者对其进行了改进，并将其应用于不同领域，如计算机视觉中的图像到图像翻译、图像超分辨率、图像修复等。如今，GAN 甚至能够生成高分辨率的人脸图像，可在 https://www.thispersondoesnotexist.com/ 查看相关示例。

2. 从自编码器开始

在探讨 GAN 的工作原理之前，先了解一下自编码器。自编码器由编码器网络和解码器网络串联而成：
- 编码器网络接收与示例 x 相关的 d 维输入特征向量 𝒙（𝒙∈𝑅𝑑），并将其编码为 p 维向量 z（𝒛∈𝑅𝑝），即学习建模函数 𝒛 = 𝑓(𝒙)，z 也称为潜在向量或潜在特征表示，通常 p < d，所以编码器起到数据压缩的作用。
- 解码器从低维潜在向量 z 中解压缩出 𝒙̂，可将解码器视为函数 𝒙̂ = 𝑔(𝒛)。

一个简单的自编码器架构中，编码器和解码器部分各由一个全连接层组成。

自编码器与降维技术密切相关，当编码器和解码器两个子网络都没有非线性时，自编码器方法几乎与主成分