三维重建（四）PMVS算法 the patch-based MVS algorithm

通过前面的介绍，已经获得了相机的参数，我们可以利用这些参数使用基于面片的三维多视角立体视觉算法（PMVS）重建出稠密的点云。下面详细介绍一下PMVS算法。

一、基本概念介绍

1、面片（patch）

面片$p$是一个近似的正切与重建物体表面的一个小矩形，他的一边平行于参考相机的x轴。对于一个面片$p$，他的几何特征如下：
中心点：$c(p)$；
单位法向：$n(p)$，该向量指向相机的光心；
面片$p$对应一个参考图像$R(p)$，在$R(p)$中$p$是可见的。针对$p$有扩展矩形，$p$在$R(p)$中的投影是$\mu \times \mu$大小的，在原论文中$\mu =$5 or 7

2、灰度一致性函数（Photometric Discrepancy Function）

首先，我们另图像集合$V(p)$是所有在自身图像中可见面片$p$的图像集合（显然这里有$R(p) \in V(p)$，将在后面介绍$V(p)$的获得已经$R(p)$的确定）那么，灰度一致性函数定义如下：

$$g(p) = \frac {1}{|V(p) - R(p)|} \sum_{I \in (V(p) - R(p))}h(p,I,R(p)$$ 在这里， $V(p) - R(p)$是指出去 $R(p)$的 $V(p)$的其他元素； $h(p,I_1,I_2)$是指 $I和R(p)$的灰度一致性函数，计算过程如下：
1. 首先把面片 $p$划分为 $\mu \times \mu$的小格；
2. 通过双线性差值的方法，对 $p$在 $I_i$的图像上的投影进行差值，得到像素灰度 $q(p,I_i)$；
3. 用1减去 $q(p,I_1)$和 $q(p,I_1)$的NCC(normalized cross correlation)值。
过程如下图所示：



由于 $g(p)$对于图像中出现高光或者有障碍物的情况下的效果不好，因此在实际情况下，我们需要保证图像 $I$和图像 $R(p)$的灰度一致性函数大于一定的值 $\alpha$（后面将会介绍如何选择这个阈值）。因此有：

V