2025_NIPS_WorldWeaver: Generating Long-Horizon Video Worlds via Rich Perception

一、文章主要内容总结

该研究针对长时程视频生成中存在的结构一致性差、时间漂移（如物体变形、运动失准、违反物理规律）等核心问题，提出了名为WorldWeaver的统一框架。其核心思路是将RGB帧与感知条件（深度、光流等）联合建模，结合记忆库机制和分段噪声调度策略，在扩散模型和整流流模型上实现稳定、高质量的长视频生成。

核心背景

现有长视频生成方法多依赖RGB信号训练，过度关注颜色和纹理，忽视运动轨迹、物体几何等结构与动态属性，导致短序列（<10秒）表现尚可，但长序列中帧级误差累积，引发严重的时间漂移和结构退化。

技术框架

1. 感知条件联合建模：整合RGB、深度（Video Depth Anything/V2生成）、光流（SEA-RAFT提取）等多模态信号，通过3D VAE编码为统一 latent 表示，同时优化外观与结构/动态信息。
2. 记忆库机制：分为短期记忆（存储少量全去噪帧，保留细节）和长期记忆（深度信号无噪声以提供稳定结构指导，RGB/光流添加低水平噪声），缓解历史信息漂移。
3. 分段噪声调度：训练时将输入帧分为多个预测组，每组分配不同噪声水平，推理时流式逐组去噪，对齐训练与推理过程，减少漂移并