pixel to pixel gan ，cycle gan以及模型压缩

摘要

Image-to-Image Translation with Conditional Adversarial Networks 提出了利用GAN网络进行成对图片生成方法。

内容

网络的结构如下：

G接收成对图片{edge, photo}用于训练， 最终目的是训练一个G能够通过edge生成photo。
D则要努力分清fake img（也就是G(x))和real img，如果输入是real img， D(real img)应该更接近1, 如果是fake img，D(fake img)应该接近0， 但是与一般的gan网络不同的是， 这个D需要对应的edge图片和fake img/ real img 两部分都要输入，见上图。
论文中定义的目标函数有两个gan loss和L1 loss。
$$\begin{gathered} \begin{array}{rl}{\mathcal{L}}_{GAN}(G,D)=& {\mathbb{E}}_y[\log D(y)]+{\mathbb{E}}_{x,z}[\log (1-D(G(x,z))]\end{array} \\ {\mathcal{L}}_{L1}(G)={\mathbb{E}}_{x,y,z}\left[\Vert y-G(x,z){\Vert }_1\right] \end{gathered}$$
这里的x为输入edge, z为随机噪音，如果没有随即噪音z，G会也可以将x映射成y，但是只会产生很确定性的输出，最终再model G上通过dropout层来实现了随即噪声的引入。直接生成随机数作为noise的方法可以参考这个代码片段.
从上面两个loss不难看出，在训练D时， 仅仅考虑Loss Gan就行了， 但是在训练G时，则既要考虑loss gan， 还要考虑loss L1.

写在一起有：
$$G^{\ast }=\arg \underset{G}{\min }\underset{D}{\max }{\mathcal{L}}_{cGAN}(G,D)+\lambda {\mathcal{L}}_{L1}(G)$$
这个公式初看会比较复杂难懂， 结合代码看可能会容易理解些。
解释起来就是：在训练G时， G应该使上式越小越好。
对于G有：

$$\begin{array}{rl}{\mathcal{L}}_G(G,D)=& {\mathbb{E}}_y[\log D(y)]+{\mathbb{E}}_{x,y,z}\left[\Vert y-G(x,z){\Vert }_1\right]\end{array}$$
代码：

#Update G network: maximize log(D(x, G(x, z))) - lambda1 * L1(y, G(x, z))
fake_out = netG(real_in)
fake_concat = nd.concat(real_in, fake_out, dim=1)
output = netD(fake_concat)
real_label = nd.ones(output.shape, ctx=ctx)
errG = GAN_loss(output, real_label) + L1_loss(real_out, fake_out) * lambda1
errG.backward()

注意，原论文有句话：

As suggested in the original GAN paper, rather than training G to minimize log(1 − D(x, G(x, z)), we instead train to maximize log D(x, G(x, z))

对于D有：
$$\begin{array}{rl}{\mathcal{L}}_D(G,D)=& {\mathbb{E}}_y[\log D(y)]+{\mathbb{E}}_{x,z}[\log (1-D(G(x,z))]\end{array}$$
代码：

#Update D network: maximize log(D(x, y)) + log(1 - D(x, G(x, z)))
output = netD(fake_concat)
fake_label = nd.zeros(output.shape, ctx=ctx)
errD_fake = GAN_loss(output, fake_label)

# Train with real image
real_concat = nd.concat(real_in, real_out, dim=1)
output = netD(real_concat)
real_label = nd.ones(output.shape, ctx=ctx)
errD_real = GAN_loss(output, real_label)

errD = (errD_real + errD_fake) * 0.5
errD.backward()

其中loss的定义如下：

GAN_loss = gluon.loss.SigmoidBinaryCrossEntropyLoss()
L1_loss = gluon.loss.L1Loss()

SigmoidBinaryCrossEntropyLoss定义如下：

$L=-{\sum }_i($ label ${}_i\ast \log ($ pred ${}_i)+(1-$ label ${}_i)\ast \log \left(1-{\mathrm{pred}}_i\right))$

Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks

这篇论文主要讲了使用未配对数据进行gan网络训练的方法。

这个网络较pixel to pixel要复杂些， 有两个generator：G, F. 两个D:Dx和Dy。
其loss函数的定义如下：

$\begin{array}{rl}\mathcal{L}\left(G,F,D_X,D_Y\right)& ={\mathcal{L}}_{\mathrm{G}\mathrm{A}\mathrm{N}}\left(G,D_Y,X,Y\right)\\ & +{\mathcal{L}}_{\mathrm{G}\mathrm{A}\mathrm{N}}\left(F,D_X,Y,X\right)\\ & +\lambda {\mathcal{L}}_{\text{cyc }}(G,F)\end{array}$

前两个是常见的Gan损失函数，
$\begin{array}{rl}{\mathcal{L}}_{\mathrm{G}\mathrm{A}\mathrm{N}}\left(G,D_Y,X,Y\right)& ={\mathbb{E}}_{y\sim p_{\text{data }}(y)}\left[\log D_Y(y)\right]\\ & +{\mathbb{E}}_{x\sim p_{\text{data }}(x)}[\log \left(1-D_Y(G(x))\right]\end{array}$
Cycle Consistency Loss定义如下：
$\begin{array}{rl}{\mathcal{L}}_{\mathrm{c}\mathrm{y}\mathrm{c}}(G,F)& ={\mathbb{E}}_{x\sim p_{\text{data }}(x)}\left[\Vert F(G(x))-x{\Vert }_1\right]\\ & +{\mathbb{E}}_{y\sim p_{\text{data }}(y)}\left[\Vert G(F(y))-y{\Vert }_1\right]\end{array}$
最终要优化的目标函数：
$G^{\ast },F^{\ast }=\arg {\min }_{G,F}{\max }_{D_x,D_Y}\mathcal{L}\left(G,F,D_X,D_Y\right)$
当然， 实际代码中为了提升模型训练的稳定性，作者又做了以下改动：

In particular, for a GAN loss LGAN(G; D; X; Y ),
we train the G to minimize ${\mathbb{E}}_{x\sim p_{\text{data }}(x)}\left[(D(G(x))-1{)}^2\right]$
and train the D to minimize ${\mathbb{E}}_{y\sim p_{\text{data }}(y)}\left[(D(y)-1{)}^2\right]+$ ${\mathbb{E}}_{x\sim p_{\text{data }}(x)}\left[D(G(x){)}^2\right]$

针对风格转换类的任务，作者使用的是FID分数作为评价指标， 对于分割类的任务，则使用像素精度以及iou等指标作为判断标准。

Online Multi-Granularity Distillation for GAN Compression

这篇文章主要介绍了如何使用蒸馏学习对gan网络进行压缩。
作者使用两个教师网络（一个网络更深， 一个网络更宽）同时训练学生网络，两个教师网络生成的图片会经过D的鉴别，但是学生网络不直接与D接触， 学生网络的训练仅仅受两个教师网络的影响。
整个网络结构如下所示：

• 学生网络的蒸馏损失函数：
  $\begin{array}{rl}{\mathcal{L}}_{KD}\left(p_t,p_s\right)=& {\lambda }_{SSIM}{\mathcal{L}}_{SSIM}+{\lambda }_{feature}{\mathcal{L}}_{\text{feature }}\\ & +{\lambda }_{\text{style }}{\mathcal{L}}_{\text{style }}+{\lambda }_{TV}{\mathcal{L}}_{TV}\end{array}$
  其中

1. $L_{SSIM}$ 描述了两个图片的相似程度,对于两个图片$p_t,p_s$有：
   ${\mathcal{L}}_{SSIM}\left(p_t,p_s\right)=\frac{\left(2{\mu }_t{\mu }_s+C_1\right)\left(2{\sigma }_{ts}+C_2\right)}{\left({\mu }_t^2{\mu }_s^2+C_1\right)\left({\sigma }_t^2+{\sigma }_s^2+C_2\right)}$

where ${\mu }_s,{\mu }_t$ are mean values for luminance estimation, ${\sigma }_s^2,{\sigma }_t^2$ are standard deviations for contrast, ${\sigma }_{ts}$ is covariance for the structural similarity estimation. $C_1,C_2$ are constants to avoid zero denominator

2. feature损失，论文使用的是VGG提取特征
   ${\mathcal{L}}_{\text{feature }}\left(p_t,p_s\right)=\frac{1}{C_j{H}_j{W}_j}{\Vert {\varphi }_j\left(p_t\right)-{\varphi }_j\left(p_s\right)\Vert }_1$

where ${\varphi }_j(x)$ is the activation of the $j$-th layer of $\varphi$ for the input $x.C_j\times H_j\times W_j$ is the dimensions of ${\varphi }_j(x)$.

3. style损失
   ${\mathcal{L}}_{\text{style }}\left(p_t,p_s\right)={\Vert G_j^{\varphi }\left(p_t\right)-G_j^{\varphi }\left(p_s\right)\Vert }_1$

where $G_j^{\varphi }(x)$ is the Gram matrix of the $j$-th layer activation in the VGG network.

• 教师网络损失函数
• 总的损失函数定义：
  $G_T^{\ast }=\arg {\min }_{G_T}{\max }_D{\mathcal{L}}_{GAN}\left(G_T,D\right)+{\mathcal{L}}_{Recon}\left(G_T\right)$
  其中：常规的gan损失函数：
  $\begin{array}{rl}{\mathcal{L}}_{GAN}\left(G_T,D\right)=& {\mathbb{E}}_{x,y}[\log D(x,y)]\\ & +{\mathbb{E}}_x[\log \left(1-D\left(x,G_T(x)\right)\right]\end{array}$
• recon损失函数
  ${\mathcal{L}}_{\text{Recon }}\left(G_T\right)={\mathbb{E}}_{x,y}\left[{\Vert y-G_T(x)\Vert }_1\right]$

整个训练的损失函数定义：

$\mathcal{L}\left(G_T^W,G_T^D,G_S\right)$
$={\lambda }_{CD}{\mathcal{L}}_{CD}\left(G_T^W,G_S\right)+{\mathcal{L}}_{K{D}_{multi}}\left(p_t^w,p_t^d,p_s\right)$

其中LKD的定义如下：
$\begin{array}{rl}{\mathcal{L}}_{KD}\left(p_t,p_s\right)=& {\lambda }_{SSIM}{\mathcal{L}}_{SSIM}+{\lambda }_{\text{feature }}{\mathcal{L}}_{\text{feature }}\\ & +{\lambda }_{\text{style }}{\mathcal{L}}_{\text{style }}+{\lambda }_{TV}{\mathcal{L}}_{TV}\end{array}$

• Multiple Teachers Distillation损失函数

$\mathcal{L}\left(G_T^W,G_T^D,G_S\right)$
$={\lambda }_{CD}{\mathcal{L}}_{CD}\left(G_T^W,G_S\right)+{\mathcal{L}}_{K{D}_{multi}}\left(p_t^w,p_t^d,p_s\right)$
其中
${\mathcal{L}}_{CD}\left(G_T^W,G_S\right)=\frac{1}{n}{\sum }_{i=1}^n\left(\frac{{\sum }_{j=1}^c{\left(w_{t_w}^{ij}-w_s^{ij}\right)}^2}{c}\right)$

${\mathcal{L}}_{K{D}_{multi}}\left(p_t^w,p_t^d,p_s\right)$
$={\mathcal{L}}_{KD}\left(p_t^w,p_s\right)+{\mathcal{L}}_{KD}\left(p_t^d,p_s\right)$

• 评价指标FID