【论文阅读】Unsupervised Learning of Probably Symmetric Deformable 3D Objects from Images in the Wild

【2020CVPR】best papar award
Wu, Shangzhe, Christian Rupprecht, and Andrea Vedaldi. “Unsupervised Learning of Probably Symmetric Deformable 3D Objects from Images in the Wild.” In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 1-10. 2020.

代码：https://github.com/elliottwu/unsup3d

任务：单张2D图像进行3D建模

难点：
1、没有配对的2D和3D ground truth信息（关键点、分割、深度图或3D模型的先验知识）
2、同一个实例只有单视角的图像

假设一个物体是很好地对称的，那么可以通过镜像得到第二个视角的图像，但是一般来说物体的形状和外表都不是很好对称的
采用以下两个技术来解决：
1、显式地建模光照从而来挖掘对称信息，同时光照的建模还可以作为形状复原时的一个线索
2、模型同时预测一个图，表示图中每个像素点是对称点的概率

模型结构

从深度(depth)、反射率(albedo)、视角(viewpoint)、光照(lighting)和每个像素点的对称概率(confidence)5个角度进行建模