论文阅读 SPN和CSPN

最新推荐文章于 2025-04-19 18:23:53 发布
最新推荐文章于 2025-04-19 18:23:53 发布
阅读量4k 收藏 3
点赞数
分类专栏： 深度补全 文章标签： 深度学习 自动驾驶 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_42840360/article/details/119982502
版权
本文提出了一种卷积空间传播网络（CSPN），用于从稀疏深度图生成密集深度预测。CSPN通过学习数据驱动的亲和矩阵，采用线性传播模型和循环卷积，实现高效且精确的深度细化。该方法在单图像深度估计任务中提升了现有SOTA的输出，尤其适用于实时机器人技术和自动驾驶场景，能够融合激光雷达的稀疏深度信息。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录


SPN 论文链接
CSPN 论文链接

Spatial Propagation Network

  • Linear Propagation as Spatial Diffusion

我们在空间传播网络的同时应用了线性变换，其中矩阵在四个固定方向上进行行/列扫描：从左到右、从上到下还有 verse-vise 。我们以从左到右的方向为例进行下面的讨论。其他方向以相同的方式独立处理。
在这里插入图片描述
在这里插入图片描述

  • Learning Data-Driven Affinity

在这里插入图片描述

Depth Estimation via Affinity Learned with Convolutional Spatial Propagation Network

摘要

  • 我们提出了一种简单而有效的卷积空间传播网络（CSPN）学习深度预测的亲和矩阵.

  • 具体来说，我们采用了一种有效的线性传播模型，其中传播使用循环卷积运算的方式执行，并且相邻像素之间的affinity通过深度卷积神经网络(CNN)学习

  • 我们在两个单张图像进行深度估计的任务中应用了CSPN

  1. Refine 已有SOTA的输出
  2. 在传播过程中嵌入深度采样，把稀疏的深度图变成密集的深度图

介绍

  • SPN是串行的
  • 提出了CSPN，速度和准确率都更高，并且不牺牲理论支持
  • 我们将CSPN扩展到使用传播过程中提供的稀疏深度将稀疏深度样本转换为密集深度图的任务。它保证稀疏输入深度值保留在最终深度贴图中。它实时运行，非常适合机器人技术和自动驾驶应用，在这些应用中，激光雷达的稀疏深度测量可以与图像数据融合

相关工作

深度估计和强化/细化一直以来是计算机视觉和机器人领域的核心问题，下面我们从以下几个方面来总结概况：

  • Single view depth estimation via CNN and CRF（基于CNN和CRF的单视点深度估计）
    用于测量相邻像素相干性的亲和力是手动设计的。
  • Depth Enhancement
  • Learning affinity for spatial diffusion.
  • Depth estimation with given sparse samples

作者的方法

  • 我们将问题描述为各向异性扩散过程，扩散张量直接从给定图像通过深度CNN学习，从而指导输出的细化。

Convolutional Spatial Propagation Network

。。。。。。。待续

【深度补全最新综述】Deep Depth Completion from Extremely Sparse Data: A Survey
梁瑛平的博客
08-28 1351
深度补全旨在从深度传感器（例如 LiDAR）捕获的极度稀疏的深度图中预测密集的逐像素深度。这在自动驾驶、3D 重建、增强现实和机器人导航等各种应用中起着至关重要的作用。近年来，基于深度学习的解决方案在该任务中取得了显著成功，并主导了这一领域的发展趋势。本文首次提供了全面的文献综述，帮助读者更好地把握研究趋势，并清晰地了解当前的进展。我们从网络架构、损失函数、基准数据集和学习策略的设计角度对相关研究进行了调查，并提出了一种新颖的分类方法来对现有方法进行分类。
【CVPR‘23】CompletionFormer：用于深度补全的 Transformer 网络！已开源
梁瑛平的博客
08-28 394
CompletionFormer 结合卷积神经网络（CNN）和 Vision Transformer，提出了一种联合卷积注意力和 Transformer 块（JCAT），用于深度补全任务。该方法将卷积的局部连接性和 Transformer 的全局上下文结合到一个单一模型中，从而在户外 KITTI 和室内 NYUv2 数据集上超越了现有的基于 CNN 的方法，并在效率上显著优于纯 Transformer 方法。
CSPN：Learning Depth with Convolutional Spatial Propagation Network阅读笔记
weixin_42954710的博客
11-15 5214
一、先阅读总结 源代码：link https://github.com/XinJCheng/CSPN 这篇论文是当前时间段立体匹配KITTI2015数据集榜单第一名，阅读后记录下来方便以后自己查阅。 这篇论文是从两个方面做的：depth completion（下图的上面部分） and stereo matching（下图的下面部分）。 首先，depth completion（深度完成）是单目复原三...
CSPN
sinoai
12-21 3746
原文 提出卷积空间传播网络(CSPN)为深度估计学习关联矩阵。具体来说就是，采用一个线性传播模型以循环卷积的形式传播，DCNN学习临近像素间的关联关系。 深度估计提升性能的方法有： 使用更好的网络(如VGG、ResNet)估计全局场景布局和尺度。 通过反卷积、跳跃连接、反投影更好地恢复局部纹理。 我们提出的CSPN中，每个像素的深度值在一个卷积上下文中同时更新。这个长程上下文(long r...
深度补全网络：如CSPN++填补稀疏点云的深度信息
最新发布
luoganttcc的博客
04-19 440
自适应地学习空间传播的亲和力更高效地实现深度补全能够处理不同稀疏模式的输入。
引导方法深度补全系列—基于SPN模型—3—《Non-local spatial propagation network for depth completion》文章细读
CSPNNN的博客
09-12 1123
创新点 1.优快云使用固定局部邻域，固定的局部邻域通常具有不应与参考信息混合的无关信息，尤其是在深度边界上。NLSPN预测像素的非局部邻域. 2.预测初始密集深度的置信度纳入亲和度归一化，归一化是为了减少误差，加入置信度为了指导预测值
PENet：面向精确和有效图像引导深度补全
CSS360的博客
05-26 4043
图像引导深度补全是从一张稀疏深度图生成稠密深度图和高质量图像的任务。在这个任务中，如何融合彩色和深度信息在实现高性能扮演着非常重要的角色。本论文提出一个两分支的架构，包括：一个颜色主导分支和深度主导分支来开发和融合这个信息。更具体地来讲，一个分支输入颜色信息和一个稀疏深度图来预测一个稠密深度图。另外一个分支输入稀疏深度图和先前预测的深度图，输出一个较好的稠密深度图。从两个分支预测的深度图是互补的，因此它们是自适应融合。另外，我们也提出一个简单几何卷积层去编码3D几何线索。这个几何编码框架进行多个阶段不同形态
论文笔记_S2D.17-2018-ECCV-通过卷积空间传播网络（CSPN）的相似性学习进行深度估计
惊鸿一博
09-14 1970
基本情况 题目：Depth Estimation via Affinity Learned with Convolutional Spatial Propagation Network 通过卷积空间传播网络进行相似性学习进行深度估计 作者：Xinjing Cheng⋆, Peng Wang⋆ and Ruigang Yang Baidu Research, Baidu Inc. 引用：Cheng, X., Wang, P., & Yang, R..
深度补全 论文及代码汇总，持续更新中~~
不忘初心~
03-14 2801
depth completion
论文笔记-Depth Estimation via Affinity Learned with Convolutional Spatial Propagation Network
kingsleyluoxin的博客
08-26 1231
论文信息 标题： Depth Estimation via Affinity Learned with Convolutional Spatial Propagation Network 作者：Xinjing Cheng, Peng Wang, Ruigang Yang 机构：百度研究院 出处：ECCV 2018 代码链接 https://github.com/XinJCheng/CSPN 论文主要贡献 提出 CSPN 模块，比起 SOTA 的传播策略，能够高效、精确地进行深度估计 将..
CompletionFormer：用于深度补全的 Transformer 网络！CVPR 2023
2401_87064292的博客
09-02 311
CompletionFormer 结合卷积神经网络（CNN）和 Vision Transformer，提出了一种联合卷积注意力和 Transformer 块（JCAT），用于深度补全任务。该方法将卷积的局部连接性和 Transformer 的全局上下文结合到一个单一模型中，从而在户外 KITTI 和室内 NYUv2 数据集上超越了现有的基于 CNN 的方法，并在效率上显著优于纯 Transformer 方法。
引导方法深度补全系列—基于SPN模型—5—《Dynamic spatial propagation network for depth completion》文章细读
CSPNNN的博客
09-12 1050
1.提出了动态空间传播网络，一种非线性传播模型，动态调整亲和力权重 *2.扩散抑制操作，防止迭代过拟合造成深度过于平滑
论文阅读 Learning Affinity via Spatial Propagation Networks
共勉，我的学习日记
12-14 7206
abstract 通过一个空间传播网络来学习affinity matrix来用于vision tasks实验证明构造一个线性传播模型空间上变换的affinity matrix可以用来建模图像密集和全局相似性本文创建了一个three-way 连接的线性传播模型该模型构造了一个所有元素均来自于DCNN的稀疏传播矩阵同时创造了一个能用来建模任意特定任务的密集近邻矩阵本文用data-driven manne
深度补全-PENet_ICRA2021论文梳理和代码阅读记录
路边的石头
08-07 3554
input_options = ['d', 'rgb', 'rgbd', 'g', 'gd'] kitti_loaders.py def load_calib(): 使用2011_09_26的calib文件临时硬编码校准矩阵 def get_paths_and_transform(split, args): if split == "train": transform = train_transform glob_d = glob_gt =
引导方法深度补全系列—基于SPN模型—1—《Depth estimation via affinity learned with convolutional spatial propagat》文章细读
CSPNNN的博客
09-12 804
文章贡献我们将所设计的CSPN应用于给定单个图像的两个深度估计任务：（1）优化现有最先进方法（SOTA）的深度输出；（2）通过在传播过程中嵌入深度样本，将稀疏深度样本转换为密集深度贴图。
每天一篇论文(270/365) Depth Estimation via Affinity Learned with Convolutional Spatial Propagation Network
流浪机器人的博客
11-24 1519
Depth Estimation via Affinity Learned with Convolutional Spatial Propagation Network 通过卷积空间传播网络进行相似性学习深度估计 code 摘要 单幅图像的深度估计是计算机视觉中的一个基本问题。本文提出一种简单而有效的卷积空间传播网络（CSPN）来学习深度预测的相似矩阵。具体地说，我们采用了一种有效的线性传播模型，...
论文阅读笔记二十三：Learning to Segment Instances in Videos with Spatial Propagation Network（CVPR2017）...
weixin_33795093的博客
12-04 186
论文源址：https://arxiv.org/abs/1709.04609 摘要 该文提出了基于深度学习的实例分割框架，主要分为三步，（1）训练一个基于ResNet-101的通用模型，用于分割图像中的前景和背景。（2）将通用模型进行微调成为一个实例分割模型，借助于视频第一帧的标签文件对不同个体进行实例分割。同时，从实例分割模型中得到每一个物体的像素级score map。每张sc...
2022最新综述！稀疏数据下的深度图补全（深度学习/非引导/RGB引导）
CV_Autobot的博客
11-09 4509
点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【深度估计】技术交流群后台回复【领域综述】获取自动驾驶全栈近80篇综述论文！论文：Deep Depth Completion from Extremely Sparse Data: A Survey摘要获取正确的像素级场景深度在各种任务中发挥着重要作用，如场景理解、自动驾驶、机器人导航、同时定位和建图、智能农业...
SPN和ENOS的区别
01-11
关于SPN和ENOS的区别，需要注意的是，在提供的引用材料中并没有直接提及Segment Routing over Passive Optical Network (SPN) 或 Elastic Network Operating System (ENOS)[^1][^2][^3][^4]。然而，基于广泛接受的技术定义： ### SPN (Segment Routing over Passive Optical Network) SPN在此背景下指的是空间传播网络(Spatial Propagation Network)，而不是段路由在无源光网络上的应用。作为一种用于图像分割的方法，SPN通过学习像素间的关系来改进对象边界的质量。此方法特别适用于计算机视觉领域内的任务，比如视频目标分割。 - **应用场景**：主要用于计算机视觉中的物体检测与跟踪。 - **技术特点**：利用神经网络模型自动捕捉并优化相邻像素间的关联性，从而提高分割精度。 ```python import torch.nn as nn class SpatialPropagationNetwork(nn.Module): def __init__(self, input_channels=3): super().__init__() self.spatial_affinity_layer = nn.Conv2d(input_channels, 64, kernel_size=3, padding=1) def forward(self, x): affinity_features = self.spatial_affinity_layer(x) return affinity_features ``` ### ENOS (Elastic Network Operating System) 另一方面，ENOS通常指弹性网络操作系统，这是一种软件平台，旨在管理和控制数据中心内部署的各种硬件资源和服务。该系统能够灵活调整资源配置以适应不同的业务需求变化，并支持多种虚拟化技术和自动化运维工具集成。 - **应用场景**：适合于云服务提供商的数据中心环境以及企业级IT基础设施建设。 - **技术特点**：提供高度可编程性和灵活性，允许管理员根据实际负载情况动态调配计算、存储等资源；同时具备良好的开放性和兼容性，便于第三方应用程序接入。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值