Deep Reinforcement Learning-3D Point Scene Completion from a Single Depth Image

论文链接

摘要

       我们展示了一个深度强化学习方法对先进的视觉恢复3D点场景在立体向导，实现高质量场景重建从一个深度图像使用严格闭合。我们的方法是端到端，由3部分组成：3D场景立体重建，2D深度图恢复，以及多视点选择完成。给定一个单张深度图，我们的方法首先通过3D立体分支得到一个立体场景重建，作为导向下一个视觉恢复步骤，来帮助获得错过的信息；第三步涉及投影立体在相同视角输入，串联它们来完成当前视角深度，融合所有深度到点云。因为闭合的区域未被使用，我们使用一个深度强化网络来环视周围以及选取下一个最好的视角对大空洞完成处理直到一个场景满足重建来保证有效性。所有步骤被学习加入来完成鲁棒和一致的结果。我们展示了高质量和高性能的评估在外部实验数据集SUNCG，获得较好的结果比当前最优的性能。

系统架构

主要工作

（1）第一个提出并实现从单张深度图得到3D场景表面生成的方法；

（2）使用多视点深度图来填补丢失的3D点；

（3）提出一个立体向导视角恢复网络来保证高精度和一致的输出结果；

（4）提出一个深度强化学习网络来寻找最优的视角

未来的研究方向

（1）如何从RGBD图像中得到纹理信息来实现高精度的深度恢复；

（2）如何将纹理和深度修补结合在一起，输出一个完成的3D场景；

（3）如何保证一个稠密的完成；

了解更多关于《计算机视觉与图形学》相关知识，请关注公众号：

下载我们视频中代码和相关讲义，请在公众号回复：计算机视觉课程资料