生成对抗式网络GAN 的 loss

GAN同时要训练一个生成网络(Generator)和一个判别网络(Discriminator)，前者输入一个noise变量 $z$ ，输出一个伪图片数据 $G(z;\theta_g)$，后者输入一个图片(real image)以及伪图片(fake image)数据 $x$ ，输出一个表示该输入是自然图片或者伪造图片的二分类置信度 $D(x;θ_d)$，理想情况下，判别器$D$ 需要尽可能准确的判断输入数据到底是一个真实的图片还是某种伪造的图片，而生成器$G$又需要尽最大可能去欺骗$D$，让$D$把自己产生的伪造图片全部判断成真实的图片。
根据上述训练过程的描述，我们可以定义一个损失函数：

$Loss = \frac{1}{m}\sum_{i=1}^m[logD(x^i)+log(1-D(G(z^i)))]$

其中$x^i$,$z^i$ 分别是真实的图片数据以及noise变量。
而优化目标则是：

$min_{G}max_{D} Loss$

不过需要注意的一点是，实际训练过程中并不是直接在上述优化目标上对 $\theta_d$,$\theta_g$ 计算梯度，而是分成几个步骤：

训练判别器即更新$\theta_d$：循环$k$次，每次准备一组real image数据 $x=x^1,x^2,⋯,x^m$ 和一组fake image数据$z=z^1,z^2,⋯,z^m$，计算
$∇_{θ_d}\frac{1}{m}\sum_{i=1}^m[logD(x^i)+log(1−D(G(z^i)))]$
然后梯度上升法更新 $θ_d$ ；
训练生成器即更新 $\theta_g$ ：准备一组fake image数据 $z=z^1,z^2,⋯,z^m$ ，计算
$∇_{θ_g}\frac{1}{m}\sum_{i=1}^m log(1−D(G(z^i)))$
然后梯度下降法更新 $\theta_g$。
可以看出，第一步内部有一个层的循环，某种程度上可以认为是因为我们的训练首先要保证判别器足够好然后才能开始训练生成器，否则对应的生成器也没有什么作用，然后第二步求提督时只计算fake image那部分数据，这是因为real image不由生成器产生，因此对应的梯度为0。