WonderWorld: Interactive 3D Scene Generation from a Single Image 关键技术

1. 快速分层高斯曲面表示（FLAGS）：是一种3D场景表示方式，是3DGS的变体。每个高斯核的z轴被压缩到很小的数值，并且去除视角相关的颜色信息，渲染仍使用3DGS相同的可微分渲染，包括3D到2D的投射、alpha渲染等，用于快速生成3D场景。
2. 引导深度扩散：用于解决生成连续3D场景中因估计深度与现有几何之间存在不一致性而导致的几何失真问题。该方法依赖于上一个场景已知的深度和掩码来推断新场景的深度，依靠上一个场景生成的深度图在新场景投影下重叠部分的深度图，作为新场景深度图生成的引导图，保证新场景与原场景之间重叠部分在深度方向的一致性。
3. 基于几何的初始化：围绕像素对齐生成和surfel表示两个关键设计步骤。像素对齐生成保证像素级几何对齐，对于每一个surfel对应一个有效像素，surfel颜色初始化为对应像素的RGB值，位置通过像素坐标计算得到。surfel表示部分针对方向和尺度进行初始化，方向由估计像素法线来初始化旋转矩阵，尺度根据奈奎斯特定理设置，不透明度初始化为0.1。这样做可以最小化渲染时的高频伪影和过度重叠，加快FLAGS表示的优化过程。
4. 分层场景生成策略：解析场景的几何层结构，发现可能出现显著遮挡的区域，通过去除遮挡内容来显露这些区域，并生成内容以填补这些区域，即深度引导的层分解。通过找到深度边缘来分离这些层，对估计深度图的空间梯度幅值进行阈值处理，计算显著深度边缘图，前景层通过找到包含显著深度边缘的语义片段形成并适当扩展。对于天空层，直接使用语义分割。给定层分割后，依次通过扩散模型对天空层、背景层和前景层进行修复和训练相应的FGS。