ConditionVideo: 无训练的条件引导视频生成 | AAAI 2024

作者：彭博，上海人工智能实验室与上海交大2023级联培博士。

最近的工作已经成功地将大规模文本到图像模型扩展到视频领域，产生了令人印象深刻的结果，但计算成本高，需要大量的视频数据。在这项工作中，我们介绍了ConditionVideo，这是一种无需训练的文本到视频生成方法，基于提供的条件、视频和输入文本，通过利用现成的文本到图像生成方法(例如，Stable Diffusion)的功能。ConditionVideo从随机噪声或给定场景视频生成逼真的动态视频。我们的方法明确地将运动表示分解为条件引导和场景运动组件。为此，ConditionVideo模型设计了一个UNet分支和一个控制分支。为了提高时间相干性，我们引入了稀疏双向时空注意(sBiST-Attn)。三维控制网络扩展了传统的二维控制网络模型，旨在通过额外利用时域的双向帧来增强条件生成的准确性。我们的方法在帧一致性、片段评分和条件准确性方面表现优异，优于其他方法。目前文章已被AAAI 2024会议接收，代码已开源到Github。

Arxiv 链接：https://arxiv.org/abs/2310.07697

Github 链接： GitHub - pengbo807/ConditionVideo: Training-Free Condition-Guided Text-to-Video Generation

---

贡献

• 我们提出了一种无需训练的视频生成方法，该方法利用现成的文本到图像生成模型生成具有逼真动态背景的条件引导视频。

• 我们的方法通过一个包括U-Net分支和条件控制分支的pipeline，将运动表征分解为条件引导和场景运动组件

• 我们引入稀疏双向时空注意(sBiST-Attn)和三维条件