Seaweed-7B: Cost-Effective Training of Video Generation Foundation Model

主要内容

1. 研究背景：视频生成基础模型意义重大，但现有训练方法成本高昂。语言模型领域发现中小模型可通过优化超越大模型，而视频生成领域对类似效率的研究较少。
2. 数据处理：提出数据处理流程，包括时间分割、空间裁剪、质量过滤等多种操作，以获取高质量训练数据，并介绍了高通量数据处理管道。
3. 模型设计与训练：详细阐述了Seaweed-7B模型中变分自编码器（VAE）和扩散变压器（DiT）的设计，以及多阶段、多任务训练策略和训练基础设施优化。
4. 模型评估：通过与其他模型对比，在图像到视频和文本到视频生成任务中评估了Seaweed-7B的性能，同时对比了VAE的重建质量。
5. 应用领域：展示了Seaweed-7B在多种视频生成任务中的应用，如人体视频生成、视频音频联合生成等。
6. 研究结论：Seaweed-7B在有限计算资源下表现出色，但模型仍存在局限性，如生成细粒度细节能力不足、需加强伦理考量等。

创新点

1. 高效的训练策略：使用665,000 H100 GPU小时从头训练70亿参数的Seaweed-7B模型，在资源受限的情况下实现了与大模型相媲美的性能。
2. VAE设计优化：提出的VAE设计在平衡压缩效率、重建保真度和生成质量方面有新突破，实现了最先进的重建质量