14、机器视觉中的3D感知与成像几何

机器视觉中的3D感知与成像几何

1. 从2D图像理解3D物体的问题

机器视觉的一个局限性在于，成像过程是从与3D世界相关的2D图像信息来进行解读的。不过，可以利用图像形成的物理过程知识对其进行建模，也就是3D世界场景如何投影到相机的图像平面上从而产生2D图像，这构成了透视投影的基础。

1.1 单图像与多图像的3D信息提取

• 单图像 ：无法从单张图像恢复3D空间几何信息。
• 多图像（立体视觉） ：如果手头有从不同视角和位置拍摄的同一场景的多张图像，就可以通过组合这些图像来提取3D几何信息，这就是立体视觉。

1.2 图像融合的困难

在融合两张图像时存在诸多不确定性：
- 几何图元的位置和方向 ：图像平面中各种几何图元的位置和方向存在不确定性，这会导致3D特征估计的不确定性。
- 相机参数和测量误差 ：相机参数（如焦距）的不确定性以及随机测量误差也会给测量过程增加不确定性。

1.3 相关研究情况

在3D环境探索或3D物体重建领域，相关研究工作较少。不过，有一些技术被用于3D特征重建，例如Haralick和Shapiro使用结构光和最小二乘法估计技术进行3D特征重建，Asada将传感器/相机图像与声纳测距扫描仪融合用于世界地图重建。

2. 3D重建过程

3D重建从相机接收到的原始图像开始，基本任务可分为以下两个步骤：
1. 从相