B站最新开源：最强动漫视频生成模型Index-AniSora本地部署教程，专为二次元打造

一、简介

该项目展示了 Bilibili 为动漫世界带来的礼物——Index-AniSora，最强大的开源动漫视频生成模型。 它支持一键创建多种动漫风格的视频片段，包括系列剧集、中国原创动画、漫画改编、VTuber 内容、动漫 PV、鬼畜动画等！ 由我们被 IJCAI'25 接受的工作 AniSora: 探索天空时代动画视频生成的前沿提供支持。

1.摘要

动画在最近的影视行业中引起了极大的兴趣。尽管像 Sora、Kling 和 CogVideoX 这样的先进视频生成模型在生成自然视频方面取得了成功，但在处理动画视频时却缺乏同样的效果。由于其独特的艺术风格、违反物理定律以及夸张的动作，评估动画视频生成也是一个巨大的挑战。在本文中，我们介绍了一个全面的系统 AniSora ，专为动画视频生成设计，包括一个数据处理流水线、一个可控生成模型和一个评估数据集。该系统由超过 10M 高质量数据支持的数据处理流水线支撑，生成模型包含时空掩码模块，以促进关键动画制作功能，如图像到视频生成、帧插值和局部图像引导动画。我们还收集了一个包含 948 个不同动画视频的评估基准，在 VBench 和人类双盲测试中的评估表明角色和动作的一致性达到了动画视频生成的最先进水平。

2.方法

Index-anisora 的概述如下所示：

特点：

1. 我们开发了一个全面的视频处理系统，显著增强了视频生成的预处理。
2. 我们提出了一种统一的框架，专为动画视频生成设计，包含时空掩码模块，能够执行图像到视频生成、帧插值和局部图像引导动画等任务。
3. 我们发布了一个专门用于评估动画视频生成的基准数据集。

3.评估

Vbench 上的评估结果：

方法	动态平滑度	动态评分	美学质量	成像质量	I2V 主体	I2V 背景	整体一致性	主体一致性
Opensora-Plan(V1.3)	99.13	76.45	53.21	65.11	93.53	94.71	21.67	88.86
Opensora(V1.2)	98.78	73.62	54.30	68.44	93.15	91.09	22.68	87.71
Vidu	97.71	77.51	53.68	69.23	92.25	93.06	20.87	88.27
Covideo(5B-V1)	97.67	71.47	54.87	68.16	90.68	91.79	21.87	90.29
MiniMax	99.20	66.53	54.56	71.67	95.95	95.42	21.82	93.62
AniSora<