22、计算机视觉中的立体匹配与运动结构估计

计算机视觉中的立体匹配与运动结构估计

1. 多相机的使用

在立体匹配中，使用更多相机可以显著减少匹配的歧义性。传统的双目匹配存在一定的局限性，而引入第三个相机能在很大程度上解决这个问题。

1.1 三目相机消除匹配歧义

当有三个相机时，第三个图像可用于检查前两个图像之间的假设匹配。具体操作是，先重建与匹配相关的三维点，再将其重新投影到第三个图像中。若附近没有匹配点，则说明该匹配是错误的。

在大多数三目立体算法中，通常先利用其中两个图像假设潜在的对应关系，然后用第三个图像来确认或否定这些假设。例如，在图 7.17 中，小灰色圆盘表示与四个点的左右图像相关的错误重建。添加中央相机后，匹配的歧义性被消除，因为对应的射线都不会与六个圆盘中的任何一个相交。

1.2 同时匹配多图像的方法

Okutami 和 Kanade 提出了一种在三个或更多图像中同时寻找匹配的方法。其基本思想是，假设所有图像都已被校正，将寻找正确视差的问题转化为寻找正确深度（或其倒数）的问题。因为逆深度与每个相机的视差成正比，且逆深度可作为一个共同的搜索索引。以第一个图像为参考，将与所有其他相机相关的平方差之和添加到全局评估函数 E 中。

图 7.18 展示了在观察包含重复模式场景的 10 个相机的不同子集下，评估函数 E 随逆深度的变化情况。当仅使用两三个相机时，函数没有明确的最小值；而添加更多相机后，会出现对应正确匹配的清晰最小值。图 7.19 则显示了 10 个校正图像的序列以及算法重建的表面图。

2. 机器人导航应用

在机器人导航中，双目立体视觉有着重要的应用。例如，Hadsell 等