16、从图像到深度再返回：深度估计与应用

从图像到深度再返回：深度估计与应用

1. 相关工作

1.1 深度估计

在计算机视觉领域，从单视图进行形状的计算机化估计是一个经典挑战，相关文献众多。单目重建方法通常依赖不同线索，如阴影、轮廓形状、纹理和消失点等。这些方法通过对图像中物体的属性（如反射属性、观看条件和对称性）施加约束来限制可能的重建结果。

有不少方法专注于单视图场景重建问题，特别是户外或室内（如办公室）场景。例如，Hoiem 等人的早期方法假设场景可分为“地面”“天空”和“垂直”广告牌分区来重建户外场景；还有 Saxena 等人的 Make3D 系统等。近年来，也有方法使用深度学习来预测室内场景的深度。

越来越多的方法提出使用示例来指导重建过程。一种方法假设一个对象类中的所有 3D 对象都靠近由几个基对象张成的线性子空间，该方法主要应用于人脸；另一种方法使用单个参考 3D 表面对面部进行准确的从阴影恢复形状估计；还有方法尝试对已知对象类的允许变形进行建模，然后使用这些模型从单视图估计对象的形状和姿态。

一种完全数据驱动的方法，利用密集像素对应关系，最初被提出。后续也有其他方法提出直接使用已知参考的形状/外观示例的不同方式。

1.2 形状装饰

形状装饰主要研究外观和深度的关系，不仅用于从外观估计深度，还用于解决从深度估计外观的反向问题。早期自动装饰 3D 模型的方法主要集中在使用纹理示例覆盖 3D 模型的表面；也有方法为人类操作员提供对 3D 模型应用非纹理图像映射的半自动控制；还有方法提出在纹理化的 3D 模型之间形成对应关系，以便将一个模型的纹理转移到另一个模型。

2. 从对应关系估计深度