2025_NIPS_AV-NeRF: Learning Neural Fields for Real-World Audio-Visual Scene Synthesis

文章主要内容和创新点总结

主要内容

本文提出了一种基于NeRF的多模态学习方法AV-NeRF，用于解决全新的“真实世界视听场景合成”任务。该任务旨在根据已知轨迹的源视听记录，沿任意新的相机轨迹生成视觉帧和对应的空间音频，确保视听一致性以提升感知真实感和沉浸感。

AV-NeRF包含三个核心模块：

1. V-NeRF：基于经典NeRF架构，负责学习视觉场景的颜色和密度场，生成任意相机姿态下的RGB图像和深度图像。
2. A-NeRF：学习声学场表示，将5D坐标映射为声学掩码（混合掩码和差异掩码），结合短时傅里叶变换（STFT）和逆变换，生成具有空间信息的双耳音频。
3. AV-Mapper：声学感知音频生成模块，从V-NeRF提取的几何和材质信息中学习环境声学知识，为A-NeRF提供环境先验。

为支撑任务研究，作者构建了高质量的真实世界视听场景数据集RWAVS，包含办公室、住宅、公寓、户外等多种环境的相机姿态、视频帧和双耳音频数据；同时在合成数据集SoundSpaces上进行验证，实验表明AV-NeRF在视听合成质量上显著优于现有基线方法。

创新点

1. 提出首个基于NeRF的真实世界视听场景合成方法，支持沿任意相机轨迹生成连贯的视听内容，突破了现有方法在视角数量和场景真实性上的限制。
2. 设计AV-Mapper模块，将视觉场景的3D几何和材质属性与音频传播先验知识融合，实现声学感知的音