基于白盒特征的机器学习模型——CartoonGAN Learning to Cartoonize Using Whitebox Cartoon Represent

作者：禅与计算机程序设计艺术

1.简介

在电影制作中，白板卡通化(Whiteboard Cartooning)技术已经成为一种非常有效的创意技巧。它能够根据一幅画中的人物、场景以及灯光照射效果生成具有很高逼真度的卡通化效果图。然而，如何训练机器学习模型能够自动识别并提取画面中的人物、场景以及灯光信息，并结合图像上上下文信息，从而实现白板卡通化呢？目前还没有比较成熟的基于白板卡通化的方法，很多相关研究都集中在特征工程、模型设计、数据增强等方面，难以直接应用到白板卡通化领域。本文通过实验，探索了如何利用白板卡通化特有的特征表示方式——基于白盒特征(White-box Features)，来训练机器学习模型，提升白板卡通化的效果。

基于白盒特征的关键是如何定义并获取图像的高级特征，使得这些特征可以用于机器学习模型的训练及推理。因此，本文提出了一个基于白盒特征的机器学习模型——CartoonGAN，通过对模型结构及损失函数进行优化，用无监督的方式训练模型，将图像中的人物、场景以及灯光信息提取出来，并形成图像的白盒特征，最后，再使用该特征训练CartoonGAN模型，生成具有高逼真度的卡通化图像。本文同时进行了详细的理论分析，阐明了基于白盒特征的机器学习模型的理论依据，并给出了一些可行性的启发性观点。此外，本文还针对不同数据集上的效果进行了评测，验证了本文提出的模型