NCC视差匹配

目录

一、基本原理

二、NCC匹配过程

三、代码

四、实验结果截图与分析

五、问题

---

一、基本原理

NCC，顾名思义，就是用于归一化待匹配目标之间的相关程度，注意这里比较的是原始像素。通过在待匹配像素位置p（px，py）构建33邻域匹配窗口，与目标像素位置p’(px+d,py）同样构建邻域匹配窗口的方式建立目标函数来对匹配窗口进行度量相关性，注意这里构建相关窗口的前提是两帧图像之间已经校正到水平位置，即光心处于同一水平线上，此时极线是水平的，否则匹配过程只能在倾斜的极线方向上完成，这将消耗更多的计算资源。相关程度的度量方式由如下式子定义：

p点表示图像I1待匹配像素坐标（px,py），d表示在图像I2被查询像素位置在水平方向上与px的距离。如下图所示：

左边为图像I1，右边为图像I2。图像I1,蓝色方框表示待匹配像素坐标（px,py）,图像I2蓝色方框表示坐标位置为（px,py），红色方框表示坐标位置（px+d,py）。

Wp表示以待匹配像素坐标为中心的匹配窗口，通常为3*3匹配窗口。

　　没有上划线的I1表示匹配窗口中某个像素位置的像素值，带上划线的I1表示匹配窗口所有像素的均值。I2同理。

　　上述公式表示度量两个匹配窗口之间的相关性，通过归一化将匹配结果限制在 [-1,1]的范围内，可以非常方便得到判断匹配窗口相关程度：

　　若NCC = -1，则表示两个匹配窗口完全不相关，相反，若NCC = 1时，表示两个匹配窗口相关程度非常高。

二、NCC匹配过程

（1）采集图像：通过标定好的双目相机采集图像，当然也可以用两个单目相机来组合成双目相机。
（2）极线校正：校正的目的是使两帧图像极线处于水平方向，或者说是使两帧图像的光心处于同一水平线上。通过校正极线可以方便后续的NCC操作。
a.由标定得到的内参中畸变信息中可以对图像去除畸变。
b.通过校正函数校正以后得到相机的矫正变换R和新的投影矩阵P，接下来是要对左右视图进行去畸变，并得到重映射矩阵。
（3）特征匹配：这里便是我们利用NCC做匹配的步骤啦，匹配方法如上所述，右视图中与左视图待测像素同一水平线上相关性最高的即为最优匹配。完成匹配后，我们需要记录其视差d，即待测像素水平方向xl与匹配像素水平方向xr之间的差值