将动画转化为草图:AI 技术的突破
本文介绍了一种将动画转化为草图的 AI 技术,该技术源于一项关于草图到照片合成研究论文,并展现了边缘检测技术的巨大进步。与之前的 Artline 等轮廓提取 AI 相比,这项技术引入了一种名为“对抗性开放域自适应”(AODA) 的技术,显著提升了边缘检测功能。
AODA 的优势在于它可以将少量配对数据推广到更广泛的应用,通过将假草图随机视为真实草图来获得更准确的结果。这种方法在草图到图像和图像到草图的合成中都取得了令人惊讶的成功。
将动画转化为草图的 AI 利用图像到草图的流程来提取动画场景的草图,并生成类似铅笔的轮廓,而 Artline 则无法做到这一点。该技术可以将图像的暗部转化为类似墨水的阴影,因此对于过暗或阴影过多的图像,这种效果会更加明显,类似于漫画分镜中的阴影。
作者将动画的每一帧都转化为草图,并将其重新组合成视频,整个过程非常迅速且令人满意。目前,作者还没有找到其他利用转化后的草图的方法,但它可以用于练习动画帧的着色,或用于制作酷炫的蒙太奇视频,类似于使用 FPS 提升功能制作慢动作视频。
由于该 AI 模型是在动画数据上训练的,因此它在提取插图或线条艺术的草图方面比提取现实图像的草图更加成功。用户可以在网络上尝试该 AI,也可以通过作者提供的 GitHub 仓库进行大规模图像或视频转化。此外,作者还推荐了伦敦的 27stars 公司,该公司可以为个人或企业定制开发 Web 和移动应用程序。
Anime2Sketch[官方 GitHub] https://github.com/Mukosame/Anime2Sketch[我的安装 GitHub 复制] https://github.com/bycloudai/Anime2Sketch-Windows[在线运行] https://gradio.app/hub/AK391/Anime2Sketch[安装教程] https://youtu.be/TZFNV3Cr6uc用于素描到照片合成的对抗性开放域适应(AODA)[论文] https://arxiv.org/abs/2104.05703