论文解读 | ScanNet：室内场景的丰富注释3D重建

原创 | 文 BFT机器人 

大型的、有标记的数据集的可用性是为了利用做有监督的深度学习方法的一个关键要求。但是在RGB-D场景理解的背景下，可用的数据非常少,通常是当前的数据集覆盖了一小范围的场景视图，并且具有有限的语义注释。

为了解决这个问题，本文介绍了一个ScanNet的大规模室内场景3D重建和语义分割数据集。该数据集包含1513个室内场景的2.5M视角，具有3D相机姿态、表面重建和语义分割的注释。并且为了收集这些数据，设计了一个易于使用和可伸缩的RGB-D捕获系统，其中包括自动表面重建和众包语义注释。实验结果表明使用这些数据有助于在几个三维场景理解任务上实现最先进的性能，表现在三维对象分类、语义体素标记和CAD模型检索几个方面。

背景

BACKDROP

随着RGB-D传感器的引入以来，3D几何捕获领域获得了广泛的关注，并开辟了广泛的新应用。在三维重建算法上已经有了大量的努力，但利用RGB-D数据进行的一般三维场景理解最近才开始流行起来。随着现代机器学习方法的快速发展，如神经网络模型，也大大促进了对语义理解的研究。

本文建立了一个来帮助初学者获得语义标记的场景3D模型。人们使用安装有深度摄像头的iPad上的一个应用程序来获取RGB-D视频，然后后台离线处理数据，并返回一个完整的