梁瑛平的博客

2018~2024 年深度补全（Depth Completion）顶会论文、开源代码汇总！（持续更新）

深度补全旨在从深度传感器（例如 LiDAR）捕获的极度稀疏的深度图中预测密集的逐像素深度。这在自动驾驶、3D 重建、增强现实和机器人导航等各种应用中起着至关重要的作用。近年来，基于深度学习的解决方案在该任务中取得了显著成功，并主导了这一领域的发展趋势。本文首次提供了全面的文献综述，帮助读者更好地把握研究趋势，并清晰地了解当前的进展。我们从网络架构、损失函数、基准数据集和学习策略的设计角度对相关研究进行了调查，并提出了一种新颖的分类方法来对现有方法进行分类。

无监督的深度补全和估计方法通过最小化重建误差进行训练。采样、强度饱和和遮挡等数据增强方案的副作用会影响图像重建质量，从而影响训练信号。因此，尽管在其他视觉任务中的训练流程中被视为必不可少，典型的图像增强方法在深度补全中却被限制在较小的图像强度变化和翻转操作。由于稀疏深度模式中的强度变换会改变3D场景的尺度，几何变换在采样过程中可能会破坏稀疏点，因此稀疏深度模式的增强使用更少。我们提出了一种方法，通过逆转或“撤销”几何变换，将输出深度的坐标变换回原始参考框架，从而解锁先前无法实现的大范围几何增强。

深度补全在自动驾驶中起着至关重要的作用，其中相机和 LiDAR 是两种互补的传感器。近年来的方法尝试利用隐藏在 LiDAR 中的空间几何约束来增强图像引导的深度补全。然而，这些方法通常效率低下且泛化能力较差。在本文中，我们提出了一种更高效且功能强大的多模态训练方案 BEV@DC，以提升图像引导的深度补全性能。在实际应用中，所提出的 BEV@DC 模型在训练中充分利用了 LiDAR 的丰富几何细节，并在推理时采用一种增强的深度补全方式，仅需输入图像（RGB 和深度）。

近年来，深度学习研究的重点主要集中在提高预测精度。然而，这往往是以增加复杂性为代价的，从而引发了关于深度网络可解释性和可靠性的担忧。最近，人们越来越关注解开深度网络的复杂性并量化其在不同计算机视觉任务中的不确定性。然而，深度完成任务并未受到足够的关注，尽管深度传感器本身具有固有的噪声特性。在本研究中，我们从稀疏且噪声的输入开始，一直到最终预测，专注于深度数据的不确定性建模。我们提出了一种新颖的方法，通过基于归一化卷积神经网络（NCNN）的自监督学习方式，学习输入置信度估计器来识别输入中的干扰测量值。

引导深度补全旨在通过在RGB图像的引导下，从已知像素传播深度信息到剩余像素，以恢复稠密深度图。然而，大多数现有方法通过大量迭代精细化或重复堆叠模块来实现这一目标。由于传统卷积的感受野有限，输入深度图的稀疏性水平变化会影响方法的泛化能力。为了解决这些问题，我们提出了一种特征点云聚合框架，直接在已知点和缺失点之间传播三维深度信息。我们从图像中提取二维特征图，并将稀疏深度图转换为点云以提取稀疏的三维特征。通过将提取的特征视为两组特征点云，可以通过聚合邻近的已知三维特征并使用交叉注意力策略来重构目标位置的深度信息。

深度补全是计算机视觉中的一个重要任务，旨在从部分观测到的深度图中恢复完整的深度信息。传统的方法通常依赖于全局特征或局部上下文，但这些方法在处理长短程依赖时常常遇到挑战。为了解决这个问题，本文提出了一种新颖的网络架构——长短程递归更新网络（LRRU）。LRRU 通过引入递归机制来有效地结合长程和短程依赖，从而提升深度补全的性能。实验结果表明，LRRU 在多个数据集上都显著优于现有的深度补全方法，展示了其在真实场景中优越的表现。

深度补全是自动驾驶中的一项关键任务，因为它涉及从稀疏和噪声深度测量中重建场景的精确三维几何。然而，大多数现有方法要么仅依赖于二维深度表示，要么直接结合原始三维点云进行补偿，这些方法仍不足以捕捉场景的细粒度三维几何。为了解决这一挑战，我们提出了一种名为三视图分解（Tri-Perspective View Decomposition, TPVD）的新框架，该框架可以显式建模三维几何。具体而言，(1) TPVD 巧妙地将原始点云分解为三个二维视图，其中一个视图对应于稀疏深度输入。

编码器-解码器网络 (ED-Net) 是现有深度补全方法中常用的选择，但其工作机制尚不明确。本文中，我们通过可视化内部特征图来分析网络如何将输入的稀疏深度密集化。我们发现，ED-Net 的编码器特征主要集中在有输入深度点的区域。为了获得密集特征并估计完整深度，解码器特征通过跳跃连接来补充和增强编码器特征，使融合的编码器-解码器特征密集化，导致解码器特征也表现为稀疏。然而，ED-Net 在前一阶段通过“密集⇒稀疏”的过程从密集的融合特征中获取稀疏解码器特征，这一过程破坏了特征的完整性并丢失了信息。

近年来，深度补全方法在填充相对密集的深度图（例如，在 KITTI 数据集上投影的 64 线 LiDAR 或 NYUv2 上采样的 500 个点）时取得了显著的成果。然而，这些方法在处理非常稀疏的输入（例如 4 线 LiDAR 或 32 个深度点测量值）时的表现尚未得到验证。这些更稀疏的场景带来了新的挑战，例如与 64 线 LiDAR 相比，4 线 LiDAR 使得没有深度的像素与其最近的深度点之间的距离增加了六倍，从 5 个像素增加到 30 个像素。

深度补全旨在利用多传感器设置，从稀疏深度图中推断出密集深度图。尽管近年来取得了显著进展，现有方法通常会受到域转移问题的影响，例如从合成场景到现实世界应用的转移。在本文中，我们提出了 ProxyTTA，这是一种基于代理嵌入的测试时自适应方法，用于深度补全。我们的方法采用稀疏深度特征作为源域和目标域的桥梁，以应对目标域中 RGB 图像的域转移问题。具体而言，我们的代理嵌入学习在源域中捕获的对象形状的潜在几何和光度特征，这些对象可以跨域传递。

本文提出了一种结合2D和3D注意力的新方法，用于在不需要迭代空间传播的情况下实现高精度的深度补全。首先，通过在2D特征上应用注意力机制增强了基线卷积深度补全模型的性能。然后，将2D特征提升为3D点云并构建3D点变压器来处理这些点，从而使模型能够显式地学习和利用3D几何特征。此外，还提出了点云归一化技术，以改进学习过程，提升模型精度。我们在NYU Depth V2和KITTI等基准数据集上评估了该方法DeCoTR，并展示了其优越的性能。进一步的零样本评估显示了DeCoTR的出色泛化能力。

本文提出了一种高精度的自监督深度补全方法，通过3D感知特征和多视几何一致性来实现。该方法使用3D感知空间传播算法与点云表示和注意力加权机制，捕获更合理的邻域特征，同时在深度传播过程中优化模型。实验结果表明，该方法在 NYU-Depth-v2 和 VOID 数据集上相比其他无监督方法表现更优，并与一些有监督方法达到竞争水平。

CompletionFormer 结合卷积神经网络（CNN）和 Vision Transformer，提出了一种联合卷积注意力和 Transformer 块（JCAT），用于深度补全任务。该方法将卷积的局部连接性和 Transformer 的全局上下文结合到一个单一模型中，从而在户外 KITTI 和室内 NYUv2 数据集上超越了现有的基于 CNN 的方法，并在效率上显著优于纯 Transformer 方法。

深度补全任务旨在从稀疏的深度测量数据和同步的彩色图像中生成密集的深度图。现有的最先进方法多为基于传播的，通常作为对初始估计的密集深度的迭代改进。然而，这些初始深度估计通常直接将卷积层应用于稀疏深度图。在本文中，我们提出了一种双边传播网络（BP-Net），在最早阶段进行深度传播，以避免直接在稀疏数据上进行卷积。具体而言，我们的方法通过一个非线性模型从附近的深度测量中传播目标深度，该模型的系数由一个多层感知器生成，并基于辐射差异和空间距离进行调整。

【数据集合集】智能交通和无人驾驶相关一、无人驾驶数据集：1. The H3D Dataset：2. nuscenes：3. ApolloCar3D：4. KITTI Vision Benchmark Suite：5. Cityscape Dataset：6. Mapillary Vistas Dataset：一、无人驾驶数据集：1. The H3D Dataset：官网：https://usa.honda-ri.com/h3d论文地址：https://arxiv.org/abs/1903.01