边界不一致区域检测与修复

Refinement for Stereo Matching)
本文提出了一种新的方法来改善目标边界附近的虚假视差。在我们的方法中，使用彩色图像来指导整个修复过程。我们将目标边界附近的异常点定义为边界不一致区域，包括平滑区域[1]和较窄区域。
首先，我们寻找边界不一致区域，然后，采用 基于混合超像素的方法对边界不一致区域进行检测。最后，提出了一种改进的加权中值滤波算法MWM来修复检测出来的区域。

提出的算法

首先，对初始深度图进行预处理，消除暗区，接着利用Canny算子对深度图边缘进行检测，提出了一种混合超像素分割彩色图像的方法，利用上述结果对边界不一致区域进行检测。最后，利用MWM滤波策略对检测到的异常值进行细化。在接下来的段落中，我们将分别详细描述为什么以及如何检测和修复边界不一致区域。

边界不一致区域

提出在边界区域存在深度不匹配导致边界不一致出现。作者将不一致区域分为以下两种情况：

Fattening region由大背景在边界区域造成，narrowing region由大前景在边界区域造成（意思是F区域背景较大出现错误的误差，N区域是前景较大出现错误的误差）

边界不一致区域检测

我们将不一致边界定义为深度图上与场景中相应对象的边界不一致的边缘。因此，通过检测深度图上的边界是否与彩色图块中的边界相对应即可。
1、预处理：

作者定义这种不在边界确明显错误的深度为dark region。如果一个深度值小于$\rho \ast d_M$($\rho$代表惩罚系数，$d_M$代表最大深度值)则设定较小的置信度，否则设置高的置信度，置信度较低的深度值更像是异常值，如果一个带有低置信度的深度值比他邻近的深度值小，则看作是一个洞

p是q的带有高置信度最近的像素，当hole（p）=1时p就是一个异常的深度值，这些异常深度值组成dark region。
每一个被探测到的dark region都被其相邻区域的深度所修正。当图像边界上存在dark region时，传统填充方法使用小深度值（背景区域）产生暗填充暗效果。因此，在本例中，我们使用较大深度(前景)填充暗区如下:

p同一边有高置信度的最近的像素q1，q2若有一个是空洞则p点像素取大值，若没有空洞取小值。从垂直与水平两个方向进行计算。
2、混合超分辨率分块：预处理后，剩余的异常值主要在对象边界附近。为了对这些区域进行修复，我们将彩色图像的分割信息与深度边缘信息结合起来进行检测。传统的彩色图像分割通常是基于均值平移分割[13]或其他基于图像的[14]分割。然而，这种算法具有较高的计算复杂度。由于我们在这种情况下关心的是对象边界，这里使用了一种更有效的基于超像素的SLIC[15]方法进行分割。

然而，虽然大部分线段都遵循对象边界，但仍有一些区域分割得不好。因此，基于SLIC，我们提出了以下方法来进一步细化分割。
首先，用下面的voting technique检测没有很好粘附边界的区域。每个超像素的像素按照灰度值分为5个区间: 1) 0-50;2)51 - 80;3)81 - 150;4)151 - 230;5)231 - 255。如果像素数最大的区间包含超像素中总像素的60%以下，则将该超像素视为未分割像素。（这里应该是说一个segment中像素值基本属于同一个BIN所以应该最多的像素属于同一个bin）然后对超像素的欠分割部分，利用均值漂移[13]进一步分割成多个区域。
本文提出的混合超像素分割方法的分割结果如图5©所示，其中彩色区域是经过均值漂移进一步细化的未分割超像素。
此外，为了找出最合适的超像素大小，我们对Middlebury数据集[16]进行了实验。每个超像素内的像素数与深度的平均误差率如图6所示。我们可以看到，超像素大小对结果的影响很小，在我们的实验中，我们将超像素大小设置为600，这是最小的误差百分比。

我们还用Canny边缘检测器[17]检测深度图中的边缘。在彩色图像中，如果深度边缘的配准与相应的段边界(跨段)不对齐，则将深度边缘标记为不一致边界。
3、不一致区域检测：边界不一致区域是位于不一致区域一侧的区域。Fattening region位于[1]的前景侧（本应该属于背景却出现在了前景），narrowing region位于背景侧（本应在前景却出现在背景）。因此，需要一个判断来决定边界不一致区域位于哪一边。在这里，我们通过check -window对其进行标记，如图7所示。

在不一致边界上的每个点(红点)，形成一个正方形的检查窗口来检测边界不一致区域。检查窗口的半径r(宽度的一半)设置为从窗口中心到线段四个方向的每个边界的最小距离。
两个正确的段，前景段A和背景段B，图7(a)和(B)分别用蓝色虚线圈出B，（a）和（b）中区域分别出现Fattening region和narrowing region。首先检测图7(a)中B区域与图7(b)中A区域的不一致边界，然后在不一致边界上应用检查窗口。检查窗口被前后不一致的部分分成两部分，通常边界不一致的区域位于面积较小的同一侧[即，图7(a)中的d1或图7(b)中的d2]，因为在大多数情况下，离群点区域占一个线段的面积较小。如果不一致边界上的所有像素没有给出相同的结论，则将多数结论设为最终结论。
如果d1的面积等于d2的面积[图2]。7©]正是这样，检查窗口的大小会增加，直到d1和d2的面积不同，如图7(d)所示。

边界不一致区域恢复

在该方法中，我们提出了一种新的基于双目彩色图像的MWM滤波器来修复边界不一致区域。提出的MWM滤波器是受CTWM滤波器[10]的启发而设计的。与传统的中值滤波器[O(r2)，其中r为滤波器大小]相比，CTWM效率更高[O(1)]。在CTWM滤波器中，采用导频滤波器[18]权值作为滤波器权值[10]。然而，对于深度修复，一个场景中有两幅不同视角的图像，因此可以利用更多的信息。在本文中，我们使用这两个视图作为引导彩色图像，就像[7]中提到的对称引导滤波器。在我们的MWM滤波器中，使用对称导频滤波器权值[7]作为滤波器权值，使得两个视图的信息都可以被利用，尤其是边缘信息。过程如图8所示，其中图8(a)和(d)为mwm208滤波前后的视差图。首先，将图8(a)分成若干个切片，每个切片代表一个深度层，其内容就是图8(a)中深度的部分，如图8(b)所示。然后对每个深度片，在边界不一致区域上应用MWM滤波器，如图8©所示。最后，将滤波后的切片组合在一起，得到修复后的深度图如图8(d)所示。