要说亚洲动漫制作的王者,当然是我们一衣带水的邻邦——日本。
2020年字节跳动和日本东京大学联合发表了一篇《Learning to Cartoonize Using White-Box Cartoon Representations》(学习使用白盒表示+GAN来创作卡通图片),基于卡通图片的绘画技法和图像特点,可以将真实的人物或风景图片转化为卡通图片,效果很出色,在这篇文章里我们介绍一下这个项目。
论文地址:https://github.com/SystemErrorWang/White-box-Cartoonization/blob/master/paper/06791.pdf
Github项目:https://github.com/SystemErrorWang/White-box-Cartoonization
(一)架构简介
论文的摘要中是这样说的:
这篇论文提出了一种图像卡通化的方法。通过观察卡通绘画行为和咨询艺术家,我们建议从图像中分别识别出三种白盒表示:(1)包含卡通图像光滑表面的外观表示;(2)在赛璐珞风格工作流中描述稀疏色块和扁平化全局内容的结构表示;以及(3)反映卡通图像中高频纹理、轮廓和细节的纹理表示。生成性对抗网络(GAN)框架用来学习提取图像表示和卡通化图像。该方法的学习目标分别基于每个提取的表示(特征),使得框架具有