16、从图像到深度及反向转换的技术探索

从图像到深度及反向转换的技术探索

1. 相关工作

在图像与深度处理领域，存在众多相关方法。这些方法主要聚焦于单视图深度重建和形状装饰两个核心任务。

1.1 深度估计

单视图形状的计算机化估计是计算机视觉的经典挑战之一。相关方法众多，主要可分为以下几类：
- 基于不同线索的方法 ：单目重建方法常依赖阴影、轮廓形状、纹理和消失点等不同线索。这些方法通过对图像中对象的属性（如反射特性、观看条件和对称性）施加约束来限制可能的重建结果。
- 场景重建方法 ：有不少方法专注于单视图场景重建问题，包括户外和室内场景。例如，早期Hoiem等人的方法通过假设场景的“地面”“天空”和“垂直”广告牌分区来重建户外场景；Saxena等人的Make3D系统也有相关应用；还有近期的方法使用深度学习来预测室内场景的深度。
- 基于示例的方法 ：越来越多的方法提议使用示例来指导重建过程。一种方法假设一个对象类中的所有3D对象都靠近由几个基础对象张成的线性子空间，该方法主要应用于人脸；另一种方法使用单个参考3D表面来为人脸生成准确的形状估计；近期还有人尝试对已知对象类的允许变形进行建模，然后使用这些模型从单视图估计对象的形状和姿态。
- 数据驱动方法 ：最初提出的一种完全数据驱动的方法，采用密集像素对应关系，受到通过组合部分构建3D模型的方法的启发。此后，还有其他方法提出了直接使用已知参考的形状/外观示例的不同方式。

1.2 形状装饰

形状装饰不仅关注从外观估计深度，还关注从深