【论文阅读】CompletionFormer:深度完成与卷积和视觉变压器

【论文阅读】CompletionFormer:深度完成与卷积和视觉变压器

CompletionFormer: Depth Completion with Convolutions and Vision Transformers

  
给定稀疏深度和相应的RGB图像，深度补全旨在将稀疏测量值在整个图像中进行空间传播，以获得密集的深度预测

尽管基于深度学习的深度补全方法取得了巨大的进步，但卷积层或图模型的局部性使得网络难以对像素之间的长期关系进行建模

  

虽然最近完全基于transformer的体系结构在全局接受场方面取得了令人鼓舞的结果，但由于其局部特征细节的恶化，与发达的CNN模型相比，性能和效率差距仍然存在

  

但由于其局部特征细节的恶化，与发达的CNN模型相比，性能和效率差距仍然存在

联合卷积注意和变形块(Joint Convolutional Attention and Transformer block, JCAT)

  

作为构建金字塔结构深度补全模型的基本单元

在室外KITTI深度 和 室内NYUv2数据集

  

一、介绍

主动深度传感在性能上取得了显著的进步，并在自动驾驶和增强现实等众多应用中展示了其实用性
  
雷达传感器的扫描线数量有限，有效/正确深度点之间的距离仍然可能很远

深度补全技术[2,16,26,31]近年来受到了广泛关注，其目标是通过稀疏深度测量和相应的RGB图像(即RGBD)补全和重建整个深度图
  

对于深度补全，一个关键是获得相邻像素之间的深度亲和力，以便将可靠的深度标签传播到周围环境

稀疏深度可能由于噪声甚至深度传感器没有返回测量值而高度稀疏

  

所有这些属性都要求网络具有捕获像素之间局部和全局相关性的潜力。

目前的深度补全网络通过广泛使用的卷积神经网络(cnn)或图神经网络来收集上下文信息

  

GuideFormer采用了完全基于transformer的架构来实现全局推理