
【导语:在生成式视频发展中,长时序视频生成面临视角结构漂移、内容不一致等难题。近日,研究者提出 OmniRoam 新方法,显著提升长视频生成的空间一致性与时间连贯性,为长视频生成、虚拟漫游等场景奠定基础。】

在生成式视频快速发展当下,从“几秒”走向“长时序”生成时,视角变化带来的结构漂移、时间推进中的内容不一致等问题凸显。OmniRoam 应运而生,它通过引入全景视频作为统一表示,并结合 coarse-to-fine 的分阶段生成框架,显著提升了长时序条件下视频的空间一致性与时间连贯性,迈出从“片段生成”到“连续过程生成”的关键一步。

OmniRoam 先进行轨迹控制的视频预览,生成中等分辨率全景视频预览确定整体路径与场景结构,将相机轨迹拆解为 flow 和 scale 两个控制量实现轨迹建模,使生成过程内容连续且有路径约束。接着在 preview 基础上进行长时序细化生成,通过 scale 对齐扩展视频,利用 visibility mask 避免冗余,对各 segment 高分辨率生成并拼接得到最终长视频,有效缓解误差累积问题。
为支持长视频生成任务,OmniRoam 构建了专门的数据与评测体系。定义 canonical panoramic coordinate system 简化轨迹建模,结合真实与合成数据,提出 loop consistency 指标衡量长时序一致性。

实验结果显示,OmniRoam 在画质、轨迹控制和长时序一致性上均优于现有方法。定性结果中能稳定沿指定路径生成连续视频,减少结构漂移与内容崩塌;定量指标如 FAED、SSIM、LPIPS 及 loop consistency 表现更优。闭环轨迹实验表明其具备较强长期空间记忆能力。

除长视频生成,OmniRoam 在效率与 3D 任务上有潜在应用。基于 self-forcing 机制将模型蒸馏为轻量级自回归预览模型,约 7 秒生成 81 帧全景视频,还支持分辨率提升。其生成的长视频可用于 3D 场景重建,恢复出结构连贯的 3D 场景。
编辑观点:OmniRoam 为长视频生成提供了有效解决方案,推动视频生成从追求内容清晰转向长时间一致性与连贯性,在长视频生成、虚拟漫游、3D 内容构建等领域有广阔应用前景。
437



被折叠的 条评论
为什么被折叠?



