weixin_59961223的博客

近年来，神经隐式曲面重建方法已成为多视点三维重建的热门方法。与传统的多视点立体重建方法相比，由于神经网络的归纳平滑性偏差，这些方法往往产生更平滑和更完整的重建。最先进的神经隐式方法允许从许多输入视图中高质量地重建简单场景。然而，对于更大、更复杂的场景和从稀疏视点捕获的场景，它们的性能显著下降。这主要是由RGB重建损失中固有的模糊性造成的，它没有提供足够的约束，特别是在观察较少和无纹理的区域。在单目几何预测领域的最新进展的推动下，我们系统地探索这些线索为改善神经隐式曲面重建提供的效用。

本文提出了从多视点图像重建三维室内场景的挑战，以前工作在处理室内低纹理平面区域存在困难。本文提出平面约束可以方便地集成到最近的基于隐式神经表示的重建方法中。使用一个MLP网络将符号距离函数表示为场景几何。基于Manhattan-World假设，利用平面约束规则化二维语义分割网络预测的楼层和墙壁区域的几何形状。为了解决分割不准确的问题用另一种MLP对三维点的语义进行编码，并设计了一种新的loss来联合优化三维空间中的场景几何和语义。