非引导方法深度补全系列——1—— 《Sparsity invariant cnns》文章细读

这篇论文提出了稀疏卷积层,用于处理深度图像中的缺失数据。通过使用二进制有效性掩码,网络能够直接对输入的稀疏深度图进行操作,有效地处理大量稀疏度,而不会显著降低准确性。研究创建了一个大规模数据集,验证了方法在不同稀疏度下的鲁棒性,并且对比了传统方法,展示了深度学习在深度补全任务中的优势。

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档

目录

创新点

论文概述

方法详解

网络结构:

杂七杂八

总结

参考


创新点

1.提出了一种稀疏卷积层,在卷积过程中使用二进制有效性掩码来指示缺失的元素。

2.大规模数据集


论文概述

1.深度补全

       本篇论文之后,深度补全这个概念更加明显,之前的深度补全的问题和图像处理的任务相似,像图像超分辨方法,处理的问题类似将低分辨率的深度图优化到高分辨率

2.稀疏卷积

       引入一个新的稀疏卷积层,在卷积过程中使用二进制有效性掩码来指示缺失的元素,此方法直接对输入操作,考虑了丢失数据的位置,根据像素有效性对卷积核进行加权,另外,第二个将关于像素的有效性的信息传递给网络后续层,使我们的方法能够处理大量稀疏度而不会显着降低准确性。

3.大规模数据集

       基于KITTI原始数据集创建了一个新的大规模数据集,该数据集由93k帧组成,具有半稠密的deep ground truth。结果表明,我们提出的累积和清理管道能够消除原始激光雷达扫描中的异常值,同时显著增加数据密度。减少了动态物体导致雷达扫描出现的显著误差。

给定参考引用未提及在KITTI数据集上进行Sparsity - Invariant CNNs误差计算的方法。不过在深度补全任务中,KITTI数据集常用的误差评估指标可用于该误差计算,以下列举一些常见指标: #### 绝对相对误差(Absolute Relative Error, AbsRel) 该指标衡量预测值与真实值之间的绝对相对误差,计算公式如下: \[ \text{AbsRel} = \frac{1}{n} \sum_{i=1}^{n} \frac{\left| \hat{d}_i - d_i \right|}{d_i} \] 其中,$n$ 是有效像素的数量,$\hat{d}_i$ 是第 $i$ 个像素的预测深度值,$d_i$ 是第 $i$ 个像素的真实深度值。 #### 平方相对误差(Squared Relative Error, SqRel) 平方相对误差衡量预测值与真实值之间的平方相对误差,计算公式如下: \[ \text{SqRel} = \frac{1}{n} \sum_{i=1}^{n} \frac{\left( \hat{d}_i - d_i \right)^2}{d_i} \] #### 均方根误差(Root Mean Squared Error, RMSE) 均方根误差衡量预测值与真实值之间的均方根误差,计算公式如下: \[ \text{RMSE} = \sqrt{\frac{1}{n} \sum_{i=1}^{n} \left( \hat{d}_i - d_i \right)^2} \] #### 对数均方根误差(Root Mean Squared Logarithmic Error, RMSE(log)) 对数均方根误差衡量预测值与真实值之间对数的均方根误差,计算公式如下: \[ \text{RMSE(log)} = \sqrt{\frac{1}{n} \sum_{i=1}^{n} \left( \log \hat{d}_i - \log d_i \right)^2} \] #### 阈值准确率(Threshold Accuracy) 该指标衡量预测值与真实值之间的符合程度,通常设置不同的阈值 $\delta$,计算公式如下: \[ \text{Accuracy}(\delta) = \text{percentage of } i \text{ such that } \max \left( \frac{\hat{d}_i}{d_i}, \frac{d_i}{\hat{d}_i} \right) < \delta \] 常见的 $\delta$ 值有 1.25、$1.25^2$ 和 $1.25^3$。 以下是使用Python和NumPy计算这些指标的示例代码: ```python import numpy as np def compute_errors(gt, pred): thresh = np.maximum((gt / pred), (pred / gt)) a1 = (thresh < 1.25).mean() a2 = (thresh < 1.25 ** 2).mean() a3 = (thresh < 1.25 ** 3).mean() rmse = (gt - pred) ** 2 rmse = np.sqrt(rmse.mean()) rmse_log = (np.log(gt) - np.log(pred)) ** 2 rmse_log = np.sqrt(rmse_log.mean()) abs_rel = np.mean(np.abs(gt - pred) / gt) sq_rel = np.mean(((gt - pred) ** 2) / gt) return abs_rel, sq_rel, rmse, rmse_log, a1, a2, a3 # 示例使用 # gt 是真实深度图 # pred 是预测深度图 gt = np.random.rand(100, 100) pred = np.random.rand(100, 100) abs_rel, sq_rel, rmse, rmse_log, a1, a2, a3 = compute_errors(gt, pred) print(f'AbsRel: {abs_rel}, SqRel: {sq_rel}, RMSE: {rmse}, RMSE(log): {rmse_log}, a1: {a1}, a2: {a2}, a3: {a3}') ```
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值