Segment-based Disparity Refinement with Occlusion Handling for Stereo Matching翻译和理解

最新推荐文章于 2020-12-20 21:27:32 发布

原创

最新推荐文章于 2020-12-20 21:27:32 发布 · 1.3k 阅读

5 ·

CC 4.0 BY-SA版权

本文提出一种基于超像素的视差细化方法，通过两层优化处理遮挡并提升立体匹配精度。首先，利用马尔可夫随机域优化估计超像素平均视差，构建三维邻域系统。其次，结合贝叶斯推理与预测，实现二阶平滑约束下的局部优化，有效处理高度倾斜表面。该方法在Middlebury和KITTI数据集上表现优秀。

摘要

摘要:本文提出了一种视差细化方法，通过对视差统计意义的探讨，直接细化赢者通吃视差图。根据基于分割的立体匹配的主要步骤，将参考图像过度分割为超像素，并通过改进的随机样本对每个超像素进行视差面拟合共识(RANSAC)。我们设计了一个两层优化来细化视差平面。在全局优化中，利用马尔可夫随机域(MRF)推理估计超像素点的平均视差，然后根据平均视差推导出遮挡处理的三维邻域系统。在局部优化中，采用贝叶斯推理和贝叶斯预测相结合的概率模型，隐式地实现了三维邻居间的二阶平滑。两层优化是一种纯视差细化方法，因为在细化过程中不需要立体图像对之间的相关信息。在Middlebury和KITTI数据集上的实验结果表明，该方法能够快速准确地进行立体匹配，有效地处理遮挡。由此可见，“匹配成本计算+视差细化”框架是在较低的计算成本下生成精确视差图的一种可能的解决方案。

1.相关工作

1.1MRF Stereo Methods

马尔可夫随机场(MRF)立体视觉方法将匹配问题形式化为标签问题，其目标是优化测量标签质量的全局能量函数。传统的MRF立体方法[18]、[19]给每个像素分配一个一维离散视差标签。利用图割[20]、[21]、信念传播[22]、[23]、TRW[24]等优化方法，实现能量函数的最小化。基于图切割的扩展移动和交换移动[18]显示出良好的性能。这些移动可以同时更新所有像素的标签，因此优化很难被局部极小值捕获。一维标签立体声方法的缺点是建模高度倾斜的表面。三维标签立体方法[25][27]的提出，以建立更准确的模型。这些方法不仅可以对高度倾斜曲面进行建模，而且可以实现二阶平滑约束[25]、[28]、[29]。因此，它们通常比1D标签方法有更好的准确性。然而，像素级的全局优化使计算变得复杂。

我们的方法在超像素层上执行一维标签MRF推理