【论文笔记】WarpGAN: Automatic Caricature Generation

WarpGAN: Automatic Caricature Generation

这篇论文因为是新发布不久的，网上能找到的资料都还比较少，再加上本人新手上路，感觉对于此篇文章还有很多理解不到位的，希望大家能够留言指正！

warpGan是一种全自动网络，它可以给定输入的人脸照片生成漫画。除了可以转换丰富的纹理样式，它还可以学会自动预测一组控制点，这些控制点可以使照片变形成漫画，同时保持原照片的身份信息。本文介绍了identity-preserving adversarial los，并将此加入到discriminator中去区分不同的个体。并且WarpGAN允许通过控制夸张程度和视觉样式来定制生成的漫画。

在本文的工作中，我们主要去创建一个完全自动化的可以通过CNNS和GANs将人脸照片变成漫画的系统。

和以往的漫画生成和风格转换不同，我们强调了在本文中的一些挑战:

• 漫画生成包含纹理变化和形状变形；
• 经过变形的脸依旧能够被辨认；
• 卡通图片样本以不同的视觉和艺术风格存在。

为了解决以上挑战，本文提出了WarpGAN。在generator中可以自动预测control points,这些控制点将输入的人脸照片转换到最接近某一目标的漫画，还通过非线性滤波传递纹理样式。 Discriminator是通过identity-preserving adversarial loss来训练的，以区分不同的身份和风格，并鼓励generator在合成各种不同的漫画，同时自动夸大特定于身份的面部特征。

本论文的主要贡献是：

• 一种domain transfer network ，它通过自动估计一组稀疏控制点对图像进行纹理样式和几何形状的decouple（解耦）。
• 具有adversarial loss的domain transfer的texture style transfer和 image warping的联合学习
• 通过对人脸识别性能的定量评价表明，该方法在传递纹理样式和变形后保留了识别信息。

2.related work

2.1 Automatic Image Warping

Parametric methods估计了少量的全局变换参数，因此不能处理fine-grained local的形变。
dense deformation需要预测变形网格中的所有变形，其中大部分是无用的，很难估计。
Landmark-based:their method requires pre-detected landmarks as input.

2.3 Caricature Generation

近年来，随着GANs的成功，一些工作尝试将style transfer networks应用于image-to-image caricature generation，如[1],[2]。然而，由于这些网络不适用于large spatial variation的问题，它们的结果存在视觉质量差的问题。

3.Methodology

文中提到的各个符号的含义：

3.1 Generator

• 生成器一共包含三个部分：content encoder Ec,decoder R，warp controller.
• image$x\in R^{H\times W\times C}$

Texture Style Transfer

我们采用无监督的方法从feature map $E_c(x)$中disentangle风格表示，这样我们可以将输入的照片转换为在漫画中呈现的不同的纹理样式。在训练中latent style code s$\sim N(0,I)$是正态分布的随机取样。R中的multi-layer perceptron解码s以生成R中的自适应实例标准化（AdaIN）层的参数。

为了防止$E_c$和R在纹理渲染过程中丢失语义信息，我们结合了 identity mapping loss和reconstruction loss去规范$E_c$和R。
$$L_{idt}^p=E_{x^p\in X^p}[||R(E_c(x^p),E_s(x^p))-x^p|{|}_1]$$
$$L_{idt}^c=E_{x^c\in X^c}[||R(E_c(x^c),E_s(x^c))-x^c|{|}_1]$$

Automatic Image Warping