MarrNet: 3D Shape Reconstruction via 2.5D Sketches

一.摘要

1.从单一图片进行三维重建需要很强的三维先验知识，因为很少有在真实图片上的标签
2.当在合成图片上进行训练时转移到真实图片集会造成域自适应问题

Q:什么是领域自适应问题？
A_1:领域自适应是与机器学习和转移学习相关的领域。 当我们的目标是从源数据分布中学习在不同（但相关）的目标数据分布上的良好性能模型时，就会出现这种情况。 例如，常见垃圾邮件过滤问题的任务之一在于使模型从一个用户（源分发）适应到接收显着不同的电子邮件（目标分发）的新模型。 注意，当有多个源分发可用时，该问题被称为多源域自适应。
A_2:在这里是指在数据集不同时重新使其学习不同数据集的概率分布，也就是文中所提到的fine-tuned

3.MarrNet采用分解思想将3D重建转换为先估计2.5D的草图再估计3D形状。首先，与完整的3D形状相比，2.5D的草图更容易从2D图像中恢复;恢复2.5D草图的模型也更有可能从合成数据转移到真实数据。其次，对于2.5D草图的三维重建，系统可以完全从合成数据中学习。这是因为我们可以轻松地渲染现实的2.5D草图，而不需要在真实的图像中建模对象的外观变化，包括灯光、纹理等。这进一步缓解了领域适应问题。第三，我们推导出可微投影函数从三维形状到2.5维的草图

二.Introduction

1.人类可以从一张图像中快速识别出三维形状,但人类很容易就能识别出它们有非常相似的3D形状。最重要的信息是什么？

2.本文将物体在纹理、反照率、光照等方面的外观变化与物体的形状分离开来，保留了观察到的图像的所有信息，用于三维重建。人类进一步将2.5D草图和从过去经验中获得的形状结合起来，来重建一个完整的3D形状

3.研究人员试图解决单图像三维重建与深度学习的问题。这些方法通常直接从单个RGB图像回归到三维形状[Tulsiani et al.， 2017, Choy et al.， 2016, Wu et al.， 2016]。相比之下，我们提出了一个两步的端到端可训练的结构，依次恢复2.5D草图(深度和法线贴图)和3D形状

4.本文方法有几个独特的优点。首先，2.5D草图的使用减轻了域转移的负担。由于单幅图像三维重建是一个高度欠约束的问题，需要对物体形状有很强的先验知识。这对基于学习的方法提出了挑战，因为真实图像中准确的3D对象注释非常少见。以前的大多数方法都是纯训练合成数据[Tulsiani et al.， 2017, Choy et al.， 2016, Girdhar et al.， 2016]。然而，这些方法常常由于不完全呈现而出现域适应问题。相比之下，从图像中学习2.5D