Learning to Cartoonize Using White-box Cartoon Representations(2020)

[Paper] Learning to Cartoonize Using White-box Cartoon Representations(2020)
[Code]SystemErrorWang/White-box-Cartoonization

学习使用白盒卡通表示进行卡通化

本文提出了一种图像卡通化的方法。通过观察卡通绘画行为和咨询艺术家，我们建议从图像中分别识别三个白盒表示：包含卡通图像平滑表面的表面表示，在赛璐珞风格的工作流程中，指的是稀疏色块和扁平化全局内容的结构表示，以及反映卡通图像中高频纹理、轮廓和细节的纹理表示。生成对抗网络 (GAN) 框架用于学习提取的表示并对图像进行卡通化。

我们方法的学习目标分别基于每个提取的表示，使我们的框架可控和可调。这使我们的方法能够满足艺术家在不同风格和不同用例中的要求。已经进行了定性比较和定量分析以及用户研究以验证这种方法的有效性，并且我们的方法在所有比较中都优于以前的方法。最后，消融研究证明了我们框架中每个组件的影响。

概述

卡通是一种流行的艺术形式，广泛应用于各种场景。现代卡通动画工作流程允许艺术家使用各种来源来创建内容。一些著名的产品是通过将现实世界的摄影变成可用的卡通场景素材而创造的，该过程称为图像卡通化。

各种卡通风格和用例需要特定于任务的假设或先验知识来开发可用的算法。例如，一些卡通工作流程更关注全局调色板主题，但线条的清晰度是次要问题。在其他一些工作流程中，稀疏干净的色块在艺术表现中起着主导作用，但主题相对较少。

当面对艺术家在不同用例中的不同需求时，这些变体对黑盒模型（例如 [20, 48, 6]）提出了不小的挑战，并且简单地更改训练数据集无济于事。尤其是，CartoonGAN [6] 是为图像卡通化而设计的，其中提出了一种具有新颖边缘损失的 GAN 框架，并在某些情况下取得了良好的效果。但是使用黑盒模型直接拟合训练数据会降低其通用性和风格化质量，在某些情况下会导致糟糕的情况。

针对上述问题，我们对人类的绘画行为和不同风格的卡通形象进行了广泛的观察，并咨询了多位卡通艺术家。根据我们的观察，如图 3 所示，我们建议将图像分解为几个卡通表示，并将它们列出如下：

首先，我们提取表面表示来表示图像的光滑表面。给定图像 $I\in R^{W\times H\times 3}$ ，我们提取加权低频分量 $I_{sf}\in R^{W\times H\times 3}$ ，其中颜色成分和表面纹理被保留，边缘、纹理和细节被忽略。这种设计的灵感来自卡通绘画行为，艺术家通常在修饰细节之前绘制构图草图，用于实现平滑表面的灵活和可学习的特征表示。

其次，提出了结构表示，以有效抓住赛璐珞卡通风格中的全局结构信息和稀疏色块。我们从输入图像$I\in R^{W\times H\times 3}$ 中提取分割图，然后对每个分割区域应用自适应着色算法以生成结构表示 $I_{st}\in R^{W\times H\times 3}$ 。这种表示的动机是模仿赛璐珞卡通风格，其特点是边界清晰，色块稀疏。结构表示对于生成稀疏视觉效果以及将我们的方法嵌入到赛璐珞风格的卡通工作流程中具有重要意义。

第三，我们使用纹理表示来包含绘制的细节和边缘。输入图像 $I\in R^{W\times H\times 3}$ 被转换为单通道强度图 $I_t\in R^{}$