21、双目融合算法：从局部到全局的探索

双目融合算法：从局部到全局的探索

1. 人类双目融合机制与现有模型

人类的双目融合不能仅由与物理视网膜直接相关的周边过程来解释，而必须涉及中枢神经系统和一个将左右图像刺激组合为单一单元的虚拟独眼视网膜。此前已经提出了几种人类立体视觉的合作模型，例如Julesz的偶极子模型（1960）和Marr与Poggio的模型（1976）。虽然Marr - Poggio模型能够实现随机点立体图的可靠融合，但在处理大多数自然图像时效果不佳。接下来要介绍的算法并不试图模拟人类视觉系统，但通常在自然图像上能取得较好的效果。

2. 局部双目融合方法

2.1 相关匹配法

相关匹配法是最早用于解决双目融合问题的技术之一，它通过比较潜在匹配点邻域的强度分布来寻找像素级的图像对应关系。具体操作如下：
- 对于一对校正后的立体图像，在第一幅图像中选取一个点((x, y))，以该点为中心定义一个大小为(p = (2m + 1) × (2n + 1))的窗口，将窗口内的值逐行扫描得到向量(w(x, y) \in R^p)。
- 在第二幅图像中选取一个潜在匹配点((x + d, y))，同样构建一个向量(w’(x + d, y))。
- 定义归一化相关函数：
[C(d) = \frac{1}{||w - \overline{w}||} \frac{1}{||w’ - \overline{w}’||}[(w - \overline{w}) \cdot (w’ - \overline{w}’)]]
其中(\overline{a})表示坐标都等于(a)坐标均值的向量。该函数值范围在(-1)到(+1)之间，当两个窗口的图像亮度满足仿射变换(I’ =