Pixel-Level Domain Transfer 和 GAN

学习报告 1

生成对抗网络

Generative Adversarial Network

（参考：GAN综述 GAN简易说明 GAN简易代码

GAN 有两个网络，一个是 生成器generator，一个是鉴别器
discriminator，从二人零和博弈中受启发，通过两个网络互相对抗来达到最好的生成效果。

相比于其他生成式模型，GAN有两大特点：

• 不依赖任何先验假设。传统的许多方法会假设数据服从某一分布，然后使用极大似然去估计数据分布。

• 生成real-like样本的方式非常简单。GAN生成real-like样本的方式通过生成器(Generator)的前向传播，而传统方法的采样方式非常复杂。

隐变量$z$（通常为服从高斯分布的随机噪声）通过Generator生成$X_{\text{fake}}$，鉴别器负责判别输入的data是生成的样本$X_{\text{fake}}$还是真实样本 $X_{\text{real}}$。优化的目标函数如下：

对于鉴别器D来说，这是一个二分类问题，$V(D,G)$为二分类问题中常见的交叉熵损失。对于生成器G来说，为了尽可能欺骗D，所以需要最大化生成样本的判别概率$D(G(z))$，即最小化
$$\log \left(1-D\left(G\left(z\right)\right)\right)$$（注意：$\log \left(D\left(x\right)\right)$一项与生成器G无关，所以可以忽略)

实际训练时，生成器和鉴别器采取交替训练，即先训练D，然后训练G，不断往复。值得注意的是，对于生成器，其最小化的是