5、图像捕获与表示：深度感知与三维重建技术解析

图像捕获与表示：深度感知与三维重建技术解析

1. 立体系统特征匹配

在立体系统中，图像对在进行特征匹配之前需要进行校正。校正后，特征有望在相同的尺度下沿着同一条线被找到。对于特征描述符，具有很少或没有旋转不变性的描述符就适用，像相关模板这样的特征描述符就很不错，而强大的SIFT特征描述方法则有些大材小用。特征描述符区域可以是一个矩形，更倾向于在x轴上体现视差，而在y轴上变化较小，例如3x9的矩形描述符形状，视差主要在x轴而非y轴。描述符形状的窗口大小确定方法有多种，包括固定大小和自适应大小。

多视图立体系统与立体系统类似，但校正阶段可能没那么准确，因为帧间运动可能包括缩放、平移和旋转。由于尺度和旋转在帧间可能存在显著的对应问题，一些其他的特征描述方法被应用于多视图立体系统（MVS），并取得了较好的效果。例如MSER方法使用类似斑点的补丁，SUSAN方法基于具有已知质心或核心的物体区域或分割来定义特征。

对于结构光系统，光模式的类型将决定特征，相位相关是一种常用的方法。一些依赖相移模式的结构光方法，通过相位相关模板匹配，声称可以达到1/100像素的精度。还有其他方法也用于结构光对应以实现亚像素精度。

2. 空洞与遮挡处理

当帧间模式无法匹配时，深度图中会出现空洞，遮挡也可能导致空洞的产生。在这两种情况下，都需要修复深度图。首先应提供空洞图，显示问题所在位置。简单的修复方法有：在局部深度图块内使用双线性插值填充空洞；使用当前扫描线中最后一个已知的良好深度值。

更强大的处理遮挡的方法使用计算量更大但稍准确一些的方法，如自适应局部窗口来优化插值区域。另一种处理空洞的方法是将表面融合到深度体积中，即将多个连续的深度图集成到一个深度体积中作