双目立体匹配算法：Patch Match Stereo

一、简介

  我们知道，现有立体匹配算法一般被分类为局部算法、全局算法和半全局算法，其中局部算法和半全局算法是应用最为广泛的。在局部算法中，一个最简单的做法就是采用某种像素相似性度量，比如像素灰度差的绝对值AD，给定左图中的一个点p，在右图中的对应行上（假设输入是已经校正好的图像）搜索与其AD值最小的点q，这样得到的点q就是p在右图中对应的匹配点，p、q的水平坐标差称作视差。然而这种做法所得到的视差图中会包含大量的噪声，即错误的匹配对，原因可能是多方面的，如传感器噪声，左右相机的采集性能差异，图像中存在大面积无纹理、弱纹理或重复纹理，左右相机接收的光照差异（室外环境）等。
  一个更好的做法是不直接匹配单个像素，而是匹配像素点所在的区域，这个区域叫做支撑窗口(support window)，支撑窗口的尺寸可以是固定的，也可以是自适应变化的。如下式所示，由于支撑窗口内的像素提供了更多的信息，因此可以有效降低匹配歧义。

  然而使用支撑窗口的做法是存在问题的，实际上它隐性的遵从了一个假定，即窗口内的所有像素具有相同的视差。然而这个假定在很多情况下并不成立，比如：
  A. 窗口内的像素与中心像素位于不同的表面；
  B. 窗口所捕获的是一个倾斜表面或曲面，即非平行表面（这个平行指的应该是与相机成像平面平行）。
如下图(a)所示，Q点实际上位于一个亚像素的视差平面上，R位于倾斜平面上，S位于一个弧形表面上：

  许多研究人员主要关注的是A中所描述的情况，为了解决这种问题，一个比较有效的做法是对窗口内的像素采用自适应权重进行匹配，如下式所示，这样的方法可以很好的避免edge fattening(边缘平滑)问题：

权重计算所使用的方法可以是类似双边滤波的核函数：

也可以是基于测地线距离的核函数：

  那么如何解决B中的问题呢？我们知道空间中任意一点都可以认为是在一个唯一的平面上，如下式所示，该平面的参数为$($$\pi$${}_1,$$\pi$${}_2,$$\pi$${}_3,$$\pi$${}_4)$ $\in$ ${\mathbb{R}}^4$：

当我们知道相机的基线距离$B$和标定内参($u=fX/Z$, $v=fY/Z$, $d=fB/Z$)，那么上面的方程就可以变换为下式，其中${\pi }^{{}^{\prime }}=({\pi }_1^{{}^{\prime }},{\pi }_2^{{}^{\prime }},{\pi }_3^{{}^{\prime }})$ ∈ ${\mathbb{R}}^3$为视差空间的平面参数。

  基于上面的想法，2011年Michael Bleyer 提出了一个相当新颖的立体匹配算法叫做PMS，该算法的主要思想是对每一个像素计算一个独立的最优3D视差空间平面，如果该像素位于一个曲面上，那么该平面代表曲面在该像素点处的切面，在这个基础上，用于匹配的支撑窗口就是not fronto-parallel support window，简称slanted support window。这样一来问题的挑战就转移到了如何为每一个像素点在所有可能的视差空间平面中挑选出最优的视差平面。
  显然视差平面的数量是无限多的，因此通过遍历所有的视差平面来寻找最优平面是不可能的。Michael Bleyer 找到了一个巧妙的方法解决这个问题，那就是采用Patch Match的思想，Patch Match本身是一个高效求解近似最近邻场(Nearest neighbor filed)的方法，主要包括初始化、空间传播、随机搜索三个步骤。除了Patch Match中的空间传播外，作者还另外提出了视图传播和帧间传播（用于连续的视频帧）能够更好的帮助算法收敛。如下图所示，利用PMS不仅可以直接估计亚像素视差， 还能够精确的重建倾斜表面，甚至能够重建圆形的曲面。

二、算法

1.模型

  算法的目标是计算每一个像素所在的视差平面$f_p$，一旦得到了$f_p$，该像素的视差就可以按照下式来计算，其中$a_{fp}$, $b_{fp}$和$c_{fp}$是平面$f_p$的参数，$p_x$、$p_y$是像素$p$的$x$坐标和$y$坐标。

待求解的视差平面$f_p$是在所有可能的平面中使得聚合匹配代价$m(p,f)$最小的那一个平面：
<