动漫风格迁移 I2I 论文阅读笔记——Comixify transform video into a comics

最新推荐文章于 2025-08-10 13:17:02 发布

原创

最新推荐文章于 2025-08-10 13:17:02 发布 · 1.6k 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#计算机视觉

本文是关于Comixify技术的论文阅读笔记，该技术将视频转化为连环画风格。首先，通过关键帧提取算法，结合时间分割和美学评估选择代表性帧。然后，利用AdaIN、UST、CartoonGAN等方法进行风格迁移。ComixGAN针对CartoonGAN的改进在于边线清晰度和颜色自然度，以实现更好的视频漫画化效果。

Comixify transform video into a comics论文阅读笔记

发表于2018.

官方app：http://comixify.ii.pw.edu.pl

本人的话：我感觉看了一篇大创的水论文。。。。。

介绍

我们提出了一种video comixification技术，它分为两步：1）提取帧。从视频中提取部分可以表达视频完整意思的帧，同时这些帧在视觉上吸引人。我们使用了一个基于强化学习的关键帧提取算法，它另外结合了时间分割方法和图像美学评估。2）风格迁移。我们将提取的关键帧转化为连环画风格。如下图所示：
在这里插入图片描述

相关工作

关键帧提取

关键帧提取(keyframe extraction)的任务类似于视频摘要（video summarization）。近年来，视频摘要任务的基准数据集得到完善，比如SumMe、TVSum等。
有研究使用LSTM来建模得到视频帧在可变范围内时间依赖关系，从而得到具有代表意义且紧凑的视频摘要。
后来，视频摘要任务引入了GAN，它由summarizer和discriminator组成。summarizer通过一个自动编码器LSTM网络构成，它的目标是筛选视频帧，然后解码获得的视频帧再生视频。discriminator是判别video是fake or real的LSTM。
接着，基于强化学习的端对端的网络被用到了视频摘要任务，他们设计了一个奖励函数来帮助提高生成摘要的多样性和代表意义。
大量实验表明非监督学习的方法明显优于监督学习。
我们的模型使用了关键帧提取并额外引入了美学评估。

在content populari