Stable Video Diffusion: Scaling Latent Video Diffusion Models to Large Datasets

本文是LLM系列文章，针对《Stable Video Diffusion: Scaling Latent Video Diffusion Models to Large Datasets》的翻译。
@TOC

摘要

我们提出了稳定视频扩散——一种用于高分辨率、最先进的文本到视频和图像到视频生成的潜在视频扩散模型。最近，通过在小的、高质量的视频数据集上插入时间层并对其进行微调，为2D图像合成训练的潜在扩散模型已经转变为生成视频模型。然而，文献中的训练方法差异很大，该领域尚未就管理视频数据的统一策略达成一致。在本文中，我们确定并评估了成功训练视频LDM的三个不同阶段：文本到图像预训练、视频预训练和高质量视频微调。此外，我们证明了精心策划的预训练数据集对于生成高质量视频的必要性，并提出了一个系统的策划过程来训练强大的基础模型，包括字幕和过滤策略。然后，我们探索微调我们的基础模型对高质量数据的影响，并训练一个与闭源视频生成有竞争力的文本到视频模型。我们还表明，我们的基本模型为下游任务提供了强大的运动表示，如图像到视频的生成和对相机运动特定LoRA模块的适应性。最后，我们证明了我们的模型提供了强大的多视图3D先验，并且可以作为微调多视图扩散模型的基础，该模型以前馈的方式联合生成对象的多个视图，以其计算预算的一小部分优于基于图像的方法。我们在发布代码和模型权重在https://github.com/Stability-AI/generative-models。

1 引言