20、立体视觉：原理、算法与应用

立体视觉：原理、算法与应用

1. 立体视觉概述

立体视觉是指通过融合两只眼睛所记录的图像，并利用它们之间的差异（即视差）来获得强烈的深度感。在许多领域，如视觉机器人导航、制图、航空侦察和近景摄影测量等，可靠的立体视觉计算机程序都具有重要价值。此外，在目标识别的图像分割或计算机图形应用的三维场景模型构建等任务中，立体视觉也备受关注。

立体视觉主要涉及两个过程：
1. 特征融合 ：融合两只（或多只）眼睛观察到的特征。
2. 三维重建 ：重建这些特征的三维原像。

当每次只观察到一个图像特征时，立体视觉相对容易。但实际上，每张图片通常包含数百万个像素和数万个图像特征，因此需要找到有效的方法来建立正确的对应关系，避免深度测量错误。

2. 双目相机几何与极线约束

2.1 极线几何

给定一对立体图像，最初看起来第一张（或左图）中的任何像素都可能与第二张（或右图）中的任何像素匹配。但实际上，匹配的像素对被限制在两张图片的对应极线上。这种约束在立体融合过程中起着至关重要的作用，因为它将图像对应关系的搜索简化为一维搜索。

考虑由两个光学中心分别为 (O) 和 (O’) 的相机观察到的点 (P) 的图像 (p) 和 (p’)。这五个点都位于由两条相交射线 (OP) 和 (O’P) 定义的极平面内。点 (p’) 位于该平面与第二个相机的视网膜 (\Pi’) 相交的直线 (l’) 上，这条直线 (l’) 就是与点 (p) 相关联的极线，它经过基线（连接光学中心 (O) 和 (O’) 的线）与 (\Pi’) 的交点 (e’)。