GAN学习之路（五）：Mask-Guided Portrait Editing withcGANs

我们先看一下论文题目Mask-Guided Portrait Editing with CGAN，使用cGAN来进行掩膜引导的肖像编辑。肖像编辑是最终的目的，掩膜和cGAN是手段。

1. 相关概念

1.1 Portrait Editing

肖像编辑是图像处理里的热门话题，我的理解就是对人脸或者人脸的某一部分（鼻子、眼睛等等）进行处理，处理的手段包括美化、替换等等。肖像编辑由于其在电影、游戏、照片处理和共享等方面的潜在应用，在视觉和图形领域引起了广泛的关注。人们想获得让脸看起来更有趣、更有趣、更美丽的魔力。

1.2 cGAN

条件生成对抗网络是一种非常实用且流行的网络，比较详细的介绍在这里。虽然条件生成对抗网络能够生成人脸，但细节之处非常不真实。为了解决这个问题，一种可能的解决方案是使用掩膜来引导生成。一方面，掩膜提供了良好的积核约束，这有助于合成比较真实的轮廓。

1.3 MASK（掩膜）

MASK在深度学习是指图像分割的一个结果。图片中有个圆形物体，我们从纸上剪掉一个和该物体一模一样大小的圆，将这张纸蒙在图片中，也就是MASK。掩膜用于帮助在学习中为每个组件指定区域，为源图像和目标图像建立了组件级的对应。

2.文章idea

肖像编辑框架主要由三部分组成:局部嵌入子网络、掩码引导生成子网络和背景融合子网络，这三个子网络都是端到端的网络。

• 局部嵌入子网络：局部嵌入自网络包含五个自编码器，分别对应五个面部分量：左眼、右眼、嘴、皮肤（鼻子）、头发。
• 掩膜引导生成子网络：掩模引导生成子网络将局部嵌入的片段与目标掩膜重新组合在一起，生成前景人脸图像。掩膜用于帮助在学习中为每个组件指定区域。
• 背景融合子网络：主要负责融合背景和前景人脸，根据目标人脸掩膜生成自然的人脸图像。

掩膜会帮助所有三个子网络的面部生成。有了掩膜，作者的框架可以应用在很多地方，如下图a，作者可以在掩码的引导下生成新的面孔，而在下图b中，作者则改变了局部的一些特征，比如嘴等等；图c中作者则展示该边所有局部特征的一个生成结果。

综上所述：

1. 文章提出了一种基于掩模引导的条件生成对抗网络(cGANs)的新框架，成功地解决了人脸合成中的多样性、质量和可控性问题。
2. 该框架是通用的，可用于大量应用程序，如掩膜合成人脸、肖像编辑、人脸交换等等。

3. 三个子网络实现

下图是三个自网络的示意图：
损失函数是由最后的蓝色框线输出部分。

3.1 局部嵌入子网络

如上图的Local Embedding Sub-Network部分，我们首先将人脸$x^s$输入$P_F$网络中以获得掩膜$m^s$（$P_F$是一个全卷积网络，使用Helen数据集训练，能够生成人脸掩膜的网络）。之后根据人脸掩膜，我们将人脸分为五部分$x_i^s$ 其中i={0,1,2,3,4}，分别表示{“左眼”,“右眼”,“嘴”,“皮肤和鼻子”,“头发”}五部分，对于每一部分，我们使用相应的自编码器网络{ $E_{local}^i$, $G_{local}^i$}。
利用五种自编码器网络，我们可以方便地改变生成的人脸图像中的任何一个面部成分，或重组来自不同面部的不同成分。
损失函数：
在该网络中，我们使用了$L_{local}$损失函数来对$E_{local}$进行约束：
$L_{local}=\frac{1}{2}{||x_i^s-G_{local}^i(E_{local}^i(x_i^s))||}_2^2$
其原理和自编码器一模一样，就是为了保持输入和输出相同。

3.2 掩膜引导生成子网络

这个网络主要负责将局部嵌入自网络$E_{local}^i$生成的人脸五部分特征$x_i^s$以及目标掩膜特征张量融合在一起。其中，掩膜特征张量是目标掩膜$m^t$经过编码器$E_m$输出的结果。掩膜引导生成子网络分为以下几步：

1. 从目标掩膜$x^t$（我个人觉得应该是$m^t$，但原文是$x^t$）中获取五个分量的中心位置 { c i } i = 1 , 2 , 3 , 4 , 5 \{c_i\}_{i=1,2,3,4,5} { ci​}i=1,2,3,4,5​；
2. 准备五个3D张量，所有的张量使用0填充，