引导方法深度补全系列—早期融合模型—1—《Sparse-to-dense: Depth prediction from sparse depth samples and a single image》

深度回归模型：稀疏深度到密集预测与激光雷达超分辨率

原创

已于 2022-11-10 19:00:38 修改 · 591 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#人工智能 #计算机视觉

于 2022-09-12 00:43:19 首次发布

本文介绍了一种深度回归模型，能从稀疏深度样本集和RGB图像中生成全分辨率深度图。模型用于SLAM和激光雷达，提升点云精度。通过采样策略增强数据，采用berHu损失函数，展示了在不同场景下的性能。

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

创新点

深度回归模型：早期融合模型，在SLAM插件模块中进行稀疏地图到密集地图的转换，和LiDARs的超分辨率。

论文概述

从稀疏深度测量集和单个RGB图像进行密集深度预测的问题

本文的主要贡献是建立了一个深度回归模型，该模型将稀疏深度样本集和RGB图像作为输入，并预测全分辨率深度图像。学习模型确实不仅能够单独从稀疏样本中提取信息，而且能够从颜色中提取信息。

用作稀疏视觉测程/SLAM算法的插件模块，以创建精确、密集的点云。此外，我们还表明，我们的方法也可以用于三维激光雷达，以创建更密集的测量。

深度采样

从ground truth深度图中采样，对于任何

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

白纸一样的白

关注关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

论文笔记_S2D.01-2018-ICRA_Sparse-to-Dense:从稀疏深度样本+单一图像的深度预测

惊鸿一博

08-05

3572

论文出处题目： Sparse-to-Dense: Depth Prediction from Sparse Depth Samples and a Single Image 出处： Mal F, Karaman S. Sparse-to-Dense: Depth Prediction from Sparse Depth Samples and a Single Image[C]. international conference on robotics and automation, 2018: 1-

深度补全论文及代码汇总，持续更新中~~

不忘初心~

03-14

3175

depth completion

参与评论您还未登录，请先登录后发表或查看评论

深度补偿模型sparse-to-dense测试

qq_20373723的博客

09-12

1655

稀疏深度图补偿

【Sparse-to-Dense】《Sparse-to-Dense：Depth Prediction from Sparse Depth Samples and a Single Image》

bryant_meng

05-31

1331

ICRA-2018 文章目录1 Background and Motivation2 Related Work3 Advantages / Contributions4 Method5 Experiments5.1 Datasets5.2 RESULTS6 Conclusion（own） / Future work 1 Background and Motivation 深度感知和深度估计在 robotics, autonomous driving, augmented reality (AR) a.

Chameleon：早期融合混合模态的基础模型

鲁班模锤

05-20

4543

Meta研究人员提出了Chameleon，这是一种混合模态的基础模型，有助于生成和推理文本和图像交叉的场景，从而实现全面的多模式建模。与传统模型不同Chameleon采用统一的架构，通过将图像标记为类似于文本的方式，平等地对待这两种模式。这种方法被称为早期融合，允许跨模式无缝推理，这种架构需要调整Transformer的架构和FineTuning策略。

数据融合的经典模型：早期融合、中期融合与后期融合的对比

weixin_67075116的博客

01-25

4248

在多模态数据融合中，如何将不同模态（如图像、文本、语音等）的数据整合到一个统一的表示中，是至关重要的环节。不同的任务需求和数据特点决定了我们应该采用哪种融合策略，而早期融合、中期融合和后期融合是多模态数据处理的三种经典方法。不同的融合策略适用于不同的任务需求。早期融合更适合需要深度模态交互的场景，中期融合在信息保留和灵活性之间找到了平衡，而后期融合则以简单、高效、模块化的设计适应更多任务。中期融合是指先对每种模态的数据独立提取特征，然后在模型中间阶段对多模态特征进行融合，形成统一的表示。

引导方法深度补全系列—早期融合模型—4—《S2DNet: Depth estimation from single image and sparse samples》

CSPNNN的博客

11-10

790

经典的粗到细的深度补全过程，第二部分细化过程直接对粗深度图做处理，本文章是添加了注意力块以提升效果。

Python 实现深度学习模型预测控制--预测模型构建

qq_42210908的博客

10-28

684

链接：此文档为如何使用深度学习模型预测控制系列文档。使用 TensorDL-MPC 进行 MPC 控制，包括初始化系统、训练模型、执行 MPC 控制、模拟系统动力学等。

2025-07-20 13:01:30,895 - INFO - 成功加载 0 只股票数据 2025-07-20 13:01:30,897 - ERROR - 错误: 没有加载到任何股票数据，请检查数据路径和格式

最新发布

07-21

from scipy import sparse warnings.filterwarnings('ignore') # 设置日志记录 logging.basicConfig( level=logging.INFO, format='%(asctime)s - %(levelname)s - %(message)s', handlers=[ logging....

引导方法深度补全系列—晚期融合模型—1—《Dense depth posterior (ddp) from single image and sparse range》文章细读

CSPNNN的博客

09-12

1363

创新点 1.提出了基于贝叶斯理论的两步法网络做深度补全

sparse-to-dense:ICRA 2018“稀疏密密麻麻

04-30

稀疏到密集此存储库由麻省理工学院的和进行了深度回归神经网络的训练和测试，以用于。一个视频演示。此仓库提供了中该论文的原始实现。版本可以在找到。此仓库可用于培训和测试基于RGB（或灰度图像）的深度预测基于稀疏深度的深度预测基于RGBd（即RGB和稀疏深度）的深度预测内容基准引文要求请参阅安装说明以获取分步指南。在装有CUDA GPU的计算机上安装Torch 。安装cuDNN （v4或更高版本）和Torch cuDNN绑定如果您已经同时安装了Torch和cuDNN，请更新软件包并安装依赖项。 luarocks install nn luarocks install cunn luarocks install cudnn luarocks install optnet 安装HDF5格式库。预处理数据集中的文件为HDF5格式。 sudo apt

基础深度补全模型DepthLab: From Partial to Complete

2403_85515624的博客

05-19

876

DepthLab一个基于图像扩散先验的基础深度修复模型，它能够有效应对在深度数据的广泛应用中的数据缺失问题。数据缺失问题在许多任务中非常常见，其根源在于数据采集不完整、视角变化等多种因素。DepthLab模型有两个显著优势：1.它对深度缺失区域具有很强的适应性，能够为连续区域和孤立点提供可靠的修复结果。2.在填充缺失值时，它能够最大程度上保持与已知深度条件下的尺度一致性。

KITTI数据集-深度补全

倚马古道

09-08

9079

由于最近在看深度补全的论文，要使用到KITTI提供的深度评估数据集，他们的数据集是托管在亚马逊上的，在国内下载特别麻烦，所以我上传到国内服务器，方便大家使用。此数据集更新于2018年4月12日。 KITTI 数据集简介 KITTI数据集由德国卡尔斯鲁厄理工学院和丰田美国技术研究院联合创办，是目前国际上最大的自动驾驶场景下的计算机视觉算法评测数据集。该数据集用于评测立体图像(stereo...

Sparse-to-dense 3D Object Detector for Point Cloud（KITTI,Tencent Youtu,港中文，2019.7.22）

phy12321的博客

09-29

980

Sparse-to-dense 3D Object Detector for Point Cloud（KITTI,Tencent Youtu,港中文，2019.7.22）是基于点云的二阶段检测网络。KITTI上性能第一，10FPS 目前主流的点云检测网络可以分为3类，Mutil_view,voxel,point-based, Mutil_view:涉及到如何融合多元信息的问题，无论是将点云投影到...

论文笔记_S2D.09-2018-ECCV_从RGB和稀疏感知估计深度

惊鸿一博

08-21

1443

论文基本情况题目:Estimating Depth from RGB and Sparse Sensing 作者：Zhao Chen, Vijay Badrinarayanan,Gilad Drozdov, and Andrew Rabinovich 单位：AR公司 Magic Leap, Sunnyvale CA 94089, USA 出处：ECCV 2018

探索高效图像处理：Sparse-to-Dense —— 一个神奇的图像恢复库

gitblog_00089的博客

04-26

418

探索高效图像处理：Sparse-to-Dense —— 一个神奇的图像恢复库去发现同类优质开源项目:https://gitcode.com/ 在这个数字化的时代，图像处理技术在各个领域都有着广泛的应用，从社交媒体到医学成像，再到自动驾驶。今天，我们要介绍一个名为"Sparse-to-Dense"的开源项目，它是一个利用深度学习进行图像恢复的Python库，让你能够将稀疏的输入...

深度图补全

ccJun-的博客

04-30

3434

注：本文转载自：计算机视觉life公众号有什么用？微软2010年发布了消费级RGB-D（RGB+depth）相机Kinect1，此后涌现了大量基于RGB-D相机的研究工作，比如用RGB-D相机来进行室内三维重建，比较有名的是KinectFusion、Kintinuous，ElasticFusion，InfiniTAM，BundleFusion等。想要了解这部分内容可以参考《计算机视觉方向简介 |...

论文《基于稀疏深度的相位展开方法用于深度感知》学习

Orange_Wu的博客

01-02

1312

A phase unwrapping method based on sparse depth for depth perception（2018 SCI 一区） Abstract 相位模糊是三步相移相位展开的主要难点。提出了一种基于稀疏深度图的三相相移相位展开方法。稀疏深度图是深度采集的相位展开辅助工具。首先，提出了一种基于随机散斑和Delaunay三角剖分的随机网格模型。其次，基于所提出的随机...

【综述专栏】基于深度学习的深度图补全

qq_29462849的博客

05-24

1438

在科学研究中，从方法论上来讲，都应“先见森林，再见树木”。当前，人工智能学术研究方兴未艾，技术迅猛发展，可谓万木争荣，日新月异。对于AI从业者来说，在广袤的知识森林中，系统梳理脉络，才能更好地把握趋势。为此，我们精选国内外优秀的综述文章，开辟“综述专栏”，敬请关注。来源：专知，编辑：人工智能前沿讲习【导读】深度图补全在自动驾驶、三维重建、增强现实和机器人导航等各种应用有着...