【研究生工作周报】(NICE-GAN论文再回顾)

NICE-GAN

---

---

前言

早在假期就对这篇论文做过初步研究，但碍于当时在对抗生成网络这一领域的基础比较薄弱，所以对论文的理解比较肤浅。通过这段时间对CGAN，pix2pix，CycleGAN等经典GAN模型学习之后，在理论和实践层面对GAN有了一个比较系统的认识。本周就NICE-GAN模型进行一个理论上的总结。

---

一、图像翻译的问题定义

  
对于两个图像域$DomainX$和$DomainY$，
监督图像翻译：给定联合分布 $p(X,Y)$,学习条件映射 $f_{x\to y}=p(Y|X)$ 和 $f_{y\to x}=p(X|Y)$
而无监督图像翻译：给定边缘分布 $p(X)$，$p(Y)$;学习条件映射 $f_{x\to y}=p(Y|X)$ 和 $f_{y\to x}=p(X|Y)$。

  现在的问题是做无监督的图像翻译时，可以有无数个条件概率 $p(Y|X)$ 和 $p(X|Y)$ 服从相同的边缘分布 $p(X)$ ，$p(Y)$ ，这也诠释了为什么衡量Cycle-GAN性能时会以pix2pix模型作为Top-line。为了解决这个问题，不同模型都有自己的策略：UNIT使用了weight-coupling，Cycle-GAN使用的cycle-consistency，identity-mapping-enforcing。

对于大多数现存的架构来说，翻译过程可以表述为：

编码器$E_x$和生成器$G_{x\to y}$组合实现图像的生成
$$y^{\prime }=f_{x\to y}(x)=G_{x\to y}(E_x(x))$$
再拿判别器 $D_y$ 区分真实图像 $y$ 和生成图像 $y^{\prime }$ 。
( $y\to x$ 同理，$x^{\prime }=f_{y\to x}(y)=G_{y\to x}(E_y(y))$)

NICE-GAN模型使用判别器进行编码

这里我们把判别器 $D_x$ 拆分成编码部分 $E_x^D$ 和分类部分 $C_x^D$