引导方法深度补全系列—基于SPN模型—3—《Non-local spatial propagation network for depth completion》文章细读

原创 已于 2022-09-13 00:03:07 修改 · 1.2k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #人工智能 #计算机视觉 #神经网络

于 2022-09-12 02:38:57 首次发布
本文介绍了一种创新的深度学习网络NLSPN，它通过预测非局部邻域和置信度提升深度估计准确性。NLSPN避开固定局部邻域的限制，增强鲁棒性，并利用置信度指导深度传播，以减少误差。

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

创新点

1.优快云使用固定局部邻域，固定的局部邻域通常具有不应与参考信息混合的无关信息，尤其是在深度边界上。NLSPN预测像素的非局部邻域.

2.预测初始密集深度的置信度纳入亲和度归一化，归一化是为了减少误差，加入置信度为了指导预测值

提示：以下是本篇文章正文内容，下面案例可供参考

文章贡献

1.

NLSPN:非局部空间传播网络。该网络以RGB和稀疏深度图像为输入，估计每个像素的非局部邻域及其亲和力，以及具有逐像素置信度的初始深度图。然后，基于预测的非局部邻域和相应的亲和力，通过其置信度和非局部空间传播过程迭代地细化初始深度预测。

2.

<
最低0.47元/天 解锁文章
【CVPR‘23】BEV@DC: 用 BEV 视角来辅助深度补全，Bird’s-Eye View Assisted Training for Depth Completion
梁瑛平的博客
09-01 951
深度补全在自动驾驶中起着至关重要的作用，其中相机和 LiDAR 是两种互补的传感器。近年来的方法尝试利用隐藏在 LiDAR 中的空间几何约束来增强图像引导的深度补全。然而，这些方法通常效率低下且泛化能力较差。在本文中，我们提出了一种更高效且功能强大的多模态训练方案 BEV@DC，以提升图像引导的深度补全性能。在实际应用中，所提出的 BEV@DC 模型在训练中充分利用了 LiDAR 的丰富几何细节，并在推理时采用一种增强的深度补全方式，仅需输入图像（RGB 和深度）。
引导方法深度补全系列—基于SPN模型—4—《Penet:Towards precise and efficient image guided depth completion》文章细读
CSPNNN的博客
09-12 1006
1.双分支结构，并加速了CSPN++，此时使用这种方法为了精细融合后的深度图
论文阅读 - Non-Local Spatial Propagation Network for Depth Completion
最新发布
zjuPeco的博客
02-15 2261
本文是论文Non-Local Spatial Propagation Network for Depth Completion的精读笔记
引导方法深度补全系列—基于SPN模型—5—《Dynamic spatial propagation network for depth completion》文章细读
CSPNNN的博客
09-12 1142
1.提出了动态空间传播网络，一种非线性传播模型，动态调整亲和力权重 *2.扩散抑制操作，防止迭代过拟合造成深度过于平滑
(2023 CVPR)CompletionFormer: Depth Completion with Convolutions and Vision Transformers
weixin_43985824的博客
09-07 1045
给定稀疏深度和相应的RGB图像，旨在将稀疏测量值在整个图像中进行空间传播，以获得密集的深度预测。尽管基于深度学习的深度补全方法取得了巨大的进步，但卷积层或图模型的局部性使得网络难以对像素之间的长期关系进行建模。虽然最近完全基于transformer的体系结构在全局接受场方面取得了令人鼓舞的结果，但由于其局部特征细节的恶化，与发达的CNN模型相比，性能和效率差距仍然存在。本文。这种混合体系结构自然有利于卷积的本地连接性和单个模型中Transformer的全局上下文。
【论文笔记】2022-CVPR-深度估计
暴雨梨花博客
04-04 8035
2022-CVPR-深度估计 文章目录2022-CVPR-深度估计0. 摘要1. 介绍2. 相关工作3. 系统3.1 硬件3.2 深度估计流程3.3 单目结构光3.4 立体匹配网络与融合策略4. 实验4.1 原型4.2 数据集与评估指标4.3 定量估计4.4 定性分析4.5 限制5. 结论 题目：Depth Estimation by Combining Binocular Stereo and Monocular Structured-Light 地址：https://arxiv.org/pdf/220
【论文简述】Edge-Aware Spatial Propagation Network for Multi-view Depth Estimation（NPL 2023）
qq_43307074的博客
12-13 1442
【论文简述】Edge-Aware Spatial Propagation Network for Multi-view Depth Estimation（NPL 2023）
Learning to Segment Instances in Videos with Spatial Propagation Network
weixin_42640840的博客
11-22 794
Learning to Segment Instances in Videos with Spatial Propagation Network Jingchun Cheng　　Sifei Liu　　 Yi-Hsuan Tsai　　 Wei-Chih Hung　　 Shalini De Mello 　　　　　　Jinwei Gu 　　Jan Kautz 　　　Shengjin Wang 　　　Mi...
引导方法深度补全系列—基于SPN模型—1—《Depth estimation via affinity learned with convolutional spatial propagat》文章细读
CSPNNN的博客
09-12 860
文章贡献我们将所设计的CSPN应用于给定单个图像的两个深度估计任务：（1）优化现有最先进方法（SOTA）的深度输出；（2）通过在传播过程中嵌入深度样本，将稀疏深度样本转换为密集深度贴图。
论文阅读笔记二十三：Learning to Segment Instances in Videos with Spatial Propagation Network（CVPR2017）...
weixin_33795093的博客
12-04 226
论文源址：https://arxiv.org/abs/1709.04609 摘要 该文提出了基于深度学习的实例分割框架，主要分为三步，（1）训练一个基于ResNet-101的通用模型，用于分割图像中的前景和背景。（2）将通用模型进行微调成为一个实例分割模型，借助于视频第一帧的标签文件对不同个体进行实例分割。同时，从实例分割模型中得到每一个物体的像素级score map。每张sc...
Python-SPNLearningAffinityviaSpatialPropagationNetworks
08-11
SPN：Learning Affinity via Spatial Propagation Networks
NLSPN_ECCV20:Park等人，“用于完成深度的非本地空间传播网络”，ECCV，2020年
05-25
深度完成的非局部空间传播网络 ， ， ，Chi Chi-Kuii和In So Kweon 2020年8月，欧洲计算机视觉会议（ECCV） 消息 2021年1月：解决了信心问题。 有关详细信息，请参阅 。 2020年12月：2020年 2020年10月：发布了预训练的模型。 请参考。 介绍 在本文中，我们提出了一个健壮且高效的端到端非本地空间传播网络来进行深度完成。 拟议的网络将RGB和稀疏深度图像作为输入，并估计每个像素的非本地邻居及其亲和性，以及带有像素方向置信度的初始深度图。 然后，基于预测的非本地邻居和相应的亲和力，通过其置信度和非本地空间传播过程来迭代完善初始深度预测。 与以前的利用固定本地邻居的算法不同，该算法有效地避免了无关的本地邻居，并在传播过程中专注于相关的非本地邻居。 此外，我们引入了可学习的亲和力归一化方法，以比传统方法更好地学习亲和力组合。 所提出的算法对深
论文阅读 Learning Affinity via Spatial Propagation Networks
共勉，我的学习日记
12-14 7358
abstract 通过一个空间传播网络来学习affinity matrix来用于vision tasks实验证明构造一个线性传播模型空间上变换的affinity matrix可以用来建模图像密集和全局相似性本文创建了一个three-way 连接的线性传播模型该模型构造了一个所有元素均来自于DCNN的稀疏传播矩阵同时创造了一个能用来建模任意特定任务的密集近邻矩阵本文用data-driven manne
论文解读 Learning Depth with Convolutional Spatial Propagation Network
DeH40的博客
12-22 3913
Learning Depth with Convolutional Spatial Propagation Network 这篇论文里提出的网络是目前KITTI2015排行榜一，作者提出的CSPN既可以用于深度预测也可以用于深度图补全。 本文在Spatial Propagation Networks(SPN)的基础上提出了Convolutional Spatial Propagation Netw...
论文笔记-Depth Estimation via Affinity Learned with Convolutional Spatial Propagation Network
kingsleyluoxin的博客
08-26 1298
论文信息 标题： Depth Estimation via Affinity Learned with Convolutional Spatial Propagation Network 作者：Xinjing Cheng, Peng Wang, Ruigang Yang 机构：百度研究院 出处：ECCV 2018 代码链接 https://github.com/XinJCheng/CSPN 论文主要贡献 提出 CSPN 模块，比起 SOTA 的传播策略，能够高效、精确地进行深度估计 将..
每天一篇论文 273/365 Learning Depth with Convolutional SpatialPropagation Network
流浪机器人的博客
11-28 990
卷积空间传播网络学习深度 原文 Code SPN网络 摘要 本文提出了卷积空间传播网络（CSPN），并证明了其在各种深度估计任务中的有效性。CSPN是一种简单而有效的线性传播模型，它利用递归卷积运算的amanner进行传播，通过一个深卷积神经网络（CNN）学习相邻像素之间的亲和力。与以往的最新线性传播模型（SPN）相比，CSPN在实际应用中要快2～5倍。将CSPN及其变体连接到SOTA深度估计网络...
每天一篇论文(270/365) Depth Estimation via Affinity Learned with Convolutional Spatial Propagation Network
流浪机器人的博客
11-24 1557
Depth Estimation via Affinity Learned with Convolutional Spatial Propagation Network 通过卷积空间传播网络进行相似性学习深度估计 code 摘要 单幅图像的深度估计是计算机视觉中的一个基本问题。本文提出一种简单而有效的卷积空间传播网络（CSPN）来学习深度预测的相似矩阵。具体地说，我们采用了一种有效的线性传播模型，...
CSPN：Learning Depth with Convolutional Spatial Propagation Network阅读笔记
weixin_42954710的博客
11-15 5635
一、先阅读总结 源代码：link https://github.com/XinJCheng/CSPN 这篇论文是当前时间段立体匹配KITTI2015数据集榜单第一名，阅读后记录下来方便以后自己查阅。 这篇论文是从两个方面做的：depth completion（下图的上面部分） and stereo matching（下图的下面部分）。 首先，depth completion（深度完成）是单目复原三...
利用cspn进行深度补全
weixin_42581003的博客
02-16 705
CSPN(Conditional Similarity Network)是一种用于深度补全的神经网络模型。它可以通过给出一些已知的深度信息，如深度图或点云，来预测未知区域的深度信息。 CSPN 的主要思想是通过计算相似性来进行深度预测。具体来说，它通过在已知深度值的点周围建立相似性函数来估计未知区域的深度。这个相似性函数考虑了已知点的位置和深度信息，以及未知点与已知点之间的距离和方向关系。通过优化...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值