A Survey of Interactive Generative Video

主要内容

1. 交互式生成视频（IGV）概述：IGV是结合生成能力与交互功能的技术，能生成多样高质量视频内容，并通过控制信号和反馈实现用户参与。文章介绍了视频生成的基础技术，如VAE、GAN、扩散模型、自回归模型及混合模型等。
2. IGV系统框架：提出IGV系统的五个核心模块：生成模块，负责视频合成，面临实时生成、流生成和多模态生成等挑战；控制模块，管理用户与虚拟世界交互，需解决开放域场景下的精确控制问题；记忆模块，保持生成内容的一致性，包括静态和动态记忆；动力学模块，模拟虚拟世界物理规律，涉及物理定律模拟和物理参数调整；智能模块，包含推理和自我进化能力，推动IGV向更高智能发展。
3. IGV的应用
   • 游戏领域：生成式游戏引擎（GGE）依赖IGV技术，其发展经历从模拟到创造的转变，在交互维度和模型架构上不断演进，未来需优化一致性、提升游戏性、增强实时性能并实现自我进化。
   • 具身人工智能领域：IGV为具身AI提供支持，在任务规划、策略学习和跨任务环境泛化方面发挥作用，但在实时复杂条件下的规划、缩小模拟与现实差距以及多模态集成等方面面临挑战。
   • 自动驾驶领域：IGV作为逼真的视频模拟器和内部世界模型，用于