2025_NIPS_ReTR: Modeling Rendering Via Transformer for Generalizable Neural Surface Reconstruction

ReTR论文总结与翻译

一、文章主要内容

该研究聚焦于可泛化神经表面重建领域，针对现有方法依赖简化体渲染过程导致的深度分布置信度低、表面推理不准确等问题，提出了一种基于Transformer架构的新型框架Reconstruction Transformer（ReTR）。

文章首先分析了传统体渲染的局限性：将复杂的光传输过程简化为单一密度值计算，无法区分光传输效应与表面属性对观测颜色的贡献，且过度依赖源视图的投影颜色，忽略复杂物理效应。在此基础上，ReTR重新设计了渲染流程，核心思路是在高维特征空间而非颜色空间中运作，通过Transformer建模复杂的渲染交互。

ReTR的核心组件包括：可学习的元射线令牌（meta-ray token），用于封装复杂光传输效应；交叉注意力机制，模拟采样点与渲染过程的交互；遮挡Transformer（Occlusion Transformer），实现遮挡感知；混合特征提取器（Hybrid Extractor），高效提取3D感知特征。此外，还引入了连续位置编码，解决传统位置编码中采样点距离信息丢失的问题。

实验部分在DTU、BlendedMVS、ETH3D、Tanks & Temples等多个数据集上验证了方法的有效性，ReTR在稀疏视图重建、全视图重建和泛化能力上均优于现有最先进方法，能够生成置信度更高、噪声更少、细节更丰富的表面重建结果。

二、创新点

1. 提出体渲染的通用形式：识别传统体渲染的核心局限，推导了满足可微性、遮挡感知、非负性三大关键属性的通用渲染公式，