ApdrawingGAN论文阅读

ApdrawingGAN: Generating artistic portrait drawings fromface photos with hierarchical GANs. In CVPR，2019.

代码
论文

摘要

由于艺术肖像画是一种高度抽象化的风格表示，由于艺术家的绘画与图像特征无法完全对应，本文提出了一种新的基于距离变换的损失来度量肖像画和真实图片之间的相似度，以生成质量更佳的肖像画。
此外，本文还构建了一个艺术风格数据集。

1. 介绍

艺术肖像画的特点：
（1）风格是高度抽象化的，包含大量稀疏但又连续的图形元素；
（2）语义上是严格限制的，如特征不能确实，真人图片和肖像画在语义上是相似的；
（3）不同区域是固定的，如头发，脸；
（4）不同区域的位置和大小又不是精确固定的。
因此，本文提出了一个APDrawingGAN，一个用于将人脸图片变换为高质量的分层的GAN模型被提出。为了学到不同人脸区域的绘画风格，本文使用了几个局部网络提取不同人脸区域的特征和一个整体的网络提取全局特征。为了进一步解决基于线条笔画的风格和不精确定位元素的问题，提出了一种新的距离变换（DT）损失来学习APDrawings中的笔画线条。
贡献：
（1）分层GAN的提出；
（2）DTloss的设置；
（3）APD数据集的构建。

2. 相关工作

主要介绍了图像的非真实感渲染和图像风格迁移。

3. APDrawingGAN介绍

3.1 网络结构

使用分层的网络是因为不同区域的绘画技巧差异过大，使用分而治之的思想，然后使用全局网络考虑全局信息。

3.2 相关的loss介绍

使用了对抗loss，L1 loss（文章说使用L2 loss会比L1 loss 模糊，因此使用L1 loss），DT loss 和局部loss.

3.2.1 对抗loss

3.2.2L1 loss

3.2.3 DT loss

由于APDrawing的元素无法被很精确的定位和匹配，本文提出了DT loss来处理很小的元素出现的失配问题，如点、线之类的。给出一张真实的或合成的APDrawing的图片x，文中定义了x的两个DTs图像，分别为IDT (x) 和 IDT ′ (x)：同时xˆ作为图像x二值化后的结果，,each 其中 IDT (x) 的每个像素存储的是xˆ 到中每个像素到距离它最近的黑色像素值之间的距离值；而IDT ′ (x) 中的每个像素值则是xˆ中的每个像素点到距离它最近的白色像素之间的距离值，对应的图片展示如下：

3.2.4总的loss

4.实验结果展示

参考资料
APDrawingGAN