HunyuanWorld 1.0: Generating Immersive, Explorable, and Interactive 3D Worlds from Words or Pixels

文章主要内容总结

1. 研究背景与问题：从文本或图像创建沉浸式、可交互的3D世界是计算机视觉与图形学的核心挑战。现有方法分为两类：基于视频的方法虽多样性丰富，但缺乏3D一致性且渲染效率低；基于3D的方法虽几何一致，但受限于训练数据少和表示方式内存低效。
2. 解决方案：提出HunyuanWorld 1.0框架，融合两类方法优势，实现从文本和图像生成沉浸式、可探索、交互式3D场景，核心是语义分层的3D网格表示，利用全景图作为360°世界代理进行语义感知的世界分解与重建。
3. 核心技术：包括全景图生成（作为世界代理）、代理世界分层（自动分解场景为语义层）、分层3D世界重建（跨层深度对齐与网格生成）、长距离世界扩展（世界一致的视频扩散与缓存机制）、系统效率优化（网格压缩与推理加速）。
4. 评估结果：在全景生成和3D世界生成任务中，各项指标（如BRISQUE、NIQE、CLIP分数等）均优于现有方法，生成的3D世界具有更高的视觉质量和语义一致性。
5. 应用场景：支持虚拟现实、物理模拟、游戏开发、对象交互等多领域应用。

文章创新点

1. 语义分层3D网格表示：通过