《Stereo Disparity through Cost Aggregation with Guided Filter》(2014)

本文将引导滤波器用于立体匹配中的代价聚合一步,以下将本文分为常规的立体匹配四步来分析。

1、匹配代价

在像素与像素的比较中,采用像素之间的颜色绝对差值(AD)值及x方向上的梯度值来比较

2、代价聚合

引导滤波器的原理不再赘述

(详见https://blog.youkuaiyun.com/shan54321/article/details/80597439

由式(17)可知,在i的邻域中像素j具有相似的颜色强度在q(i)值中有更强的权重。

3、视差计算

视差值的计算通常采用WTA策略:

 

4、视差优化

第一步:左右一致化检测

第二步:插值过程

对前一步已经校正的像素赋予像素值,对于较远的物体,采用的视差值是通过搜索最近点的无遮挡的像素(在同一条线上)的视差值。对于距离更远的物体有更高的视差值。

简单的填充会产生条纹线伪影,应该用中值滤波器,做可以用来保护边缘的滤波器,做平滑处理。

双边滤波器的权重式(31)得到:

最后的视差为:

算法流程:

1、匹配代价计算及代价聚合

2、左右一致性检测

3、深度图插值

 

自适应窗口方法:

本文在深度图上的有效提高依靠于使用引导滤波器,引导滤波器可以自适应权重,自适应地对每个像素加上不同的权重。

在立体匹配算法中聚合窗口的选择对结果的影响很大,窗口必须足够大以避免低噪比,但是,太大时,它们会覆盖深度变化很大的区域,在深度不连续区域,容易引起投影失真。

      其中一种方法是,根据像素决定窗口的大小,窗口大小取决于像素强度和视差的局部变化。但是这种方法很依赖于初始视差的估计。

      另一种方法是,调整窗口形状以适应不连续的形状。

      一个新的自适应窗口方法提出,使用平方加权窗口。 对于每个像素,计算权重以使得仅感兴趣的相邻像素(即属于同一对象)具有较高的权重。 由于格式塔原则声明基于相似性和邻近度的分组规则是最强的,因此权重应该取决于颜色相似性和空间邻近性。

      对于自适应窗口的方法,双边滤波器的计算量大,而引导滤波有类似的效果和较低的复杂度。

 

实验:

实验比较后采用的参数:

### 利用2014Stereo数据集及其Ground Truth生成深度图 为了利用2014年的立体数据集(如KITTI Stereo 2014)生成深度图,可以采用以下方法: #### 数据准备 首先,需要获取并加载KITTI Stereo 2014数据集中的左视图和右视图图像以及对应的地面实况(ground truth)。该数据集中包含了用于训练和测试的成对立体图像,同时还提供了像素级的视差地图作为地面实况[^1]。 #### 方法概述 一种常见的做法是使用深度学习模型来预测视差图,进而转换为深度图。以下是具体的技术路径: 1. **构建或选择合适的神经网络结构** 可以选用已有的高性能立体匹配网络架构,例如 RAFT-Stereo、PSMNet 或 CFNet 等。这些模型已经被证明能够有效处理复杂的场景,并提供高质量的视差估计结果[^2]。 2. **预处理输入数据** 对原始图片进行标准化操作,比如调整大小到固定尺寸、归一化像素值范围等步骤以便更好地适应所选模型的要求。 3. **训练过程** 使用标注好的训练集来进行监督学习,在此过程中不断优化参数直至达到满意的精度水平为止。损失函数通常会选择端到端可微分的形式,像平滑L1 Loss或者Huber Loss 来衡量预测值与真实标签之间的差异程度。 4. **后处理及评价指标计算** 得到初步的结果之后还需要经过一些额外的操作改善最终效果,例如填充缺失区域、去除噪声点云等。最后按照标准评测体系给出定量分析报告,常用的标准有平均绝对误差(MAE),均方根误差(RMSE)等。 #### 转换至深度图 一旦获得了可靠的视差图d(x,y),就可以依据基线b(单位:meters) 和焦距f (unit: pixels) 计算得到对应位置处的实际距离Z: \[ Z = \frac{bf}{d} \] 这里需要注意的是由于实际应用当中可能存在遮挡情况或者其他因素影响导致某些地方无法获得确切数值,则应该标记出来并在后续可视化阶段予以特别对待。 ```python import numpy as np def disparity_to_depth(disparity_map, baseline=0.54, focal_length=721.537): depth_map = (baseline * focal_length) / (disparity_map + 1e-8) return depth_map ``` 上述代码片段展示了如何将一张给定的视差图转化为相应的深度图表示形式。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值