21、双目融合方法解析

双目融合方法解析

1. 人类双目融合机制及现有模型

人类双目融合不能仅由与物理视网膜直接相关的周边过程来解释，而必须涉及中枢神经系统和一个将左右图像刺激组合为单一单元的虚拟独眼视网膜。此前已经提出了几种人类立体视觉的合作模型，例如Julesz的偶极子模型（1960）以及Marr和Poggio的模型（1976）。虽然Marr和Poggio的模型能够实现随机点立体图的可靠融合，但在处理大多数自然图像时效果不佳。接下来要介绍的算法不试图对人类视觉系统进行建模，但通常在自然图像上能取得较好的效果。

2. 局部双目融合方法

2.1 相关匹配法

相关匹配法是最早用于解决双目融合问题的技术之一，它通过比较潜在匹配点邻域内的强度分布来寻找像素级的图像对应关系。具体步骤如下：
1. 对于一对校正后的立体图像，选取第一幅图像中的点 $(x, y)$ ，以该点为中心定义一个大小为 $p = (2m + 1) × (2n + 1)$ 的窗口，将窗口内的值逐行扫描得到向量 $w(x, y) \in R^p$ 。
2. 对于第二幅图像中的潜在匹配点 $(x + d, y)$ ，同样构建向量 $w’(x + d, y)$ 。
3. 定义归一化相关函数：
- 归一化相关函数 $C(d)$ 的计算公式为：
- $C(d)=\frac{1}{|w - \overline{w}|}\frac{1}{|w’ - \overline{w’}|}[(w - \overline{w}) \cdot (w’ - \overline{w’})]$
- 其中， $\overline{a}$ 表示坐标都等于向量 $a$ 坐标均值的向量， $x$