ECCV 2020 | 基于分割一致性的单目自监督三维重建

论文地址：在公众号「3D视觉工坊」，后台回复「单目自监督」，即可直接下载。

概述

本文主要从二维图像及其轮廓的集合中，学习一个自监督的、单视图的三维重建模型，预测目标物体的3D网格形状、纹理和相机位姿。提出的方法不需要3D监督、注释的关键点、物体的多视图或者一个先验的网格模板。关键之处在于，物体可以表示为可形变部分的集合，在同一类别的不同实例中，每个部分在语义上是一致的。

利用这一点，可以有效地增强重构网格与原始图像之间的语义一致性，这大大减少了在预测物体的形状、相机位姿以及纹理时的模糊性。实验结果表明，这是第一个尝试解决单视图三维重建问题、没有使用特定类别的网格模型或者语义关键点的方法。

简介

同时从2D图像中恢复3D形状、纹理和相机位姿是一个高度不适定的问题，因为其固有的歧义。现存有很多方法解决这个问题，但是这些监督信息需要大量工作，因此将其泛化到许多缺乏此类注释的对象类别时非常具有挑战性。另一方面，只使用特定类别的单视图图像集合，而不使用其他监督信号学习重建仍然存在挑战。

原因在于，没有监督信号将导致错误的三维重建，一个典型的故障案例是由“相机-形状歧义”引起的。错误预测的相机位姿和形状导致渲染图像和物体边界与输入的2D图像和其轮廓非常匹配，如下图(c)和(d)所示。