PairedCycleGAN

PairedCycleGAN: Asymmetric Style Transfer for Applying and Removing Makeup

paper 的 motivation

提出了将素颜照人脸迁移到指定化妆style的美妆照，同时也能将美妆人脸进行卸妆。

创新点 贡献

1.有自己的数据集。通过在YouTube的美妆视频的前四分之一和后四分之一的时段进行 视频帧的采集，中间部分进行舍弃，因为中间部分大部分是在进行上妆的过程。然后进行人为的删除模糊的图片和脸部区域小于400*400的图片。
使用启发式算法对眼睛区域的颜色进行粗分类。然后外包给别人筛选数据集是否强烈的变化，删除闭眼和有遮挡的图片。最后得到了素颜照集合1148张和美妆照集合1044张。数据集包含各种各样的数据面部特征和化妆风格。
2.容易观察到眼部区域和嘴唇与皮肤的差别很大。对于生成网络分别训练了三个网络专注于眼睛部分、嘴唇、皮肤的生成。当给定一张素颜照和参考的美妆照时，先将人脸进行分割出眼睛、眉毛、嘴唇、鼻子、皮肤。设置一个圆，包含了眼睛、嘴唇等部分。然后将提取出来的一对人脸特征进行学习，每个网络只关注人脸的部分。最后将生成的部分进行Poisson blending。

主要思想

网络结构类似cyclegan的网络结构。分别训练了两个网络。G网络用于给人脸上美妆，F网络用于人脸卸妆。不同之处是G网络和F网络是非对称的。对于人脸美妆迁移，除了需要给定Source $x$还需要给定Reference $y^B$ .而卸妆只需要给定美妆照片。

输入给出没有化妆的原图片和参考化妆图，同时学到一个上妆函数G和卸妆函数F。将第一阶段的输出当成第二阶段的输入，通过比较第二阶段的输出和原始输入来保证人脸信息不会丢失。

每个网络使用Dilated ResNet (DRN) architecture for the generators。

对于每个生成网络不是直接生成像素图片，而是输出一张 delta image，然后将delta image和原始素颜照相加得到最终输出图。这样做的好处是希望保存原始素颜照的皮肤颜色，和光照，只对化妆区域进行迁移。
作者的判别网络借鉴了pix2pix的结构，因为人脸需要观察到全局，所以输入时整张图片，没有采用 image patches 。

损失函数

Adversarial loss for G
更新G网络使生成的美妆照像真实的美妆照。
$\begin{array}{rl}{L}_G\left(G,D_Y\right)& ={\mathbb{E}}_{y\sim {\mathcal{P}}_Y}\left[\log D_Y(y)\right]\\ & +{\mathbb{E}}_{x\sim {\mathcal{P}}_X,y\sim {\mathcal{P}}_Y}\left[\log \left(1-D_Y(G(x,y))\right)\right](1)\end{array}$

Adversarial loss for F
更新F网络是生成的素颜照像真实的素颜照
LF(F,DX)=Ex∼PX[log⁡DX(x)]+Eyβ∼PY[log⁡(1−DX(F(yβ)))] (2) \begin{aligned} L _ { F } \left( F , D _ { X } \right) & = \mathbb { E } _ { x \sim \mathcal { P } _ { X } } \left[ \log D _ { X } ( x ) \right] \\ & +