引导方法深度补全系列—早期融合模型—5—《Depth completion via deep basis fitting》

最新推荐文章于 2025-04-19 18:23:53 发布
原创 最新推荐文章于 2025-04-19 18:23:53 发布 · 574 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #计算机视觉 #神经网络

该文章提出了用最小二乘拟合模块替换深度网络中的1×1卷积层，以处理噪声和异常值。网络结构中，LSF模块接收多通道特征并输出单通道深度，利用非线性最小二乘法解决拟合问题。通过自监督的多尺度训练，提高了深度估计的准确性。这种方法通过动态权重调整，减少了对固定权重的依赖，增强了网络的适应性。

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

目录

创新点

一、文章概述

二、方法详解

1.网络结构

2.具体方法

总结

创新点

1.用最小二乘拟合模块代替大多数深度完井网络中使用的最后1×1卷积层

2.使用了非线性最小二乘法，处理实际数据中的噪声测量和异常值

一、文章概述

主要是替换了多变单通道的卷积层

二、方法详解

1.网络结构

 实线表示模块的数据流，而虚线表示基线方法的数据流。baseline只是一个卷积层。我们的LSF模块可以取代卷积层，而不改变网络的其余部分。

2.具体方法

线性最小二乘法拟合模块（LSF）

*最小二乘法对异常值很敏感

模块输入多通道的特征和稀疏深度，输出单通道的结果L,一般深度估计网络最后卷积层把多通道的特征B转换为单通道结果L，称为logits层，最后一层的输入范围较大，使用非线性激活函数g将值映射到正深度，本文选择的g为

a控制最小深度的比例因子，设为1

最低0.47元/天 解锁文章
深度补全（Depth Completion）算法顶会论文、开源代码汇总！（持续更新）
2401_87064292的博客
09-02 995
从零开始学习深度估计（Depth Estimation）、深度补全（Depth Completion），从稀疏的激光雷达深度到稠密深度图
2018~2024 年深度补全算法顶会论文、开源代码汇总！（持续更新）
梁瑛平的博客
08-29 1012
2018~2024 年深度补全（Depth Completion）顶会论文、开源代码汇总！（持续更新）
深度补全文章详读系列
CSPNNN的博客
09-18 1676
此篇博文为个人记录向，内容为多篇深度补全相关论文的半详读，即主要为论文的创新方法部分，既然为学习记录就可能有错误或者不全面的现象出现，希望大家发现后及时指出以便改正。方法分类主要参考这篇综述，系列博客以综述中总结的顺序为参考，顺序研读。深度补全分为两大类，下面将一一介绍相关任务。提示：以下是本篇文章正文内容，下面案例可供参考以上就是博客全部内容，再次提醒大家，如果发现错误务必指出，共同学习共同进步。
PF-Net基于深度学习的点云补全网络
一千零一夜的博客
12-03 7879
cvpr2020 PF-Net点云补全技术
深度补全（1804）-论文阅读-翻译
Usper
10-15 1864
MegaDepth: Learning Single-View Depth Prediction from Internet Photos Abstract 单视图深度预测是计算机视觉中的一个基本问题。近年来，深度学习方法取得了长足的进步，但这种方法受到现有训练数据的限制。目前基于3D传感器的数据集有一些关键的限制，包括仅含室内图像(NYU)、少量训练示例(Make3D)和稀疏采样(KITTI)。...
引导方法深度补全系列—早期融合模型—4—《S2DNet: Depth estimation from single image and sparse samples》
CSPNNN的博客
11-10 788
经典的粗到细的深度补全过程，第二部分细化过程直接对粗深度图做处理，本文章是添加了注意力块以提升效果。
深度补全网络：如CSPN++填补稀疏点云的深度信息
luoganttcc的博客
04-19 720
自适应地学习空间传播的亲和力更高效地实现深度补全能够处理不同稀疏模式的输入。
深度补全 论文及代码汇总，持续更新中~~
不忘初心~
03-14 3171
depth completion
（九：2020.08.27）CVPR 2019 追踪之论文纲要（译）
Jojo论文基地
08-28 9431
CVPR 2019 追踪之论文纲要（修正于2020.08.28）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这900篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 下面皆为机器翻译，我会慢慢修正，但现在请结合。有兴趣的可以问我要处理这些论文并自动翻译的脚本。 Respect！ 论文目录 论文 概要
PENet深度补全神经网络 ——（三）：
weixin_44832383的博客
08-27 741
目录1、python 列表与迭代器的区别：2、python assert的用法：3、python glob.glob使用：4、Python 文件 readlines() 方法：5、为什么要用numpy.array：6、numpy astype()：7、为什么用 PIL.Image 打开图片后要转换为 np.uint8 格式：8、np.float 和 np.float32 和 np.float64 的区别：9、PIL.Image 和OpenCV 读取的图像格式有什么不同：10、KITTI 深度图与真实距离：
【CVPR 2024】BP-Net：深度补全网络新 SOTA！
2401_87064292的博客
09-02 1222
深度补全任务旨在从稀疏的深度测量数据和同步的彩色图像中生成密集的深度图。现有的最先进方法多为基于传播的，通常作为对初始估计的密集深度的迭代改进。然而，这些初始深度估计通常直接将卷积层应用于稀疏深度图。在本文中，我们提出了一种双边传播网络（BP-Net），在最早阶段进行深度传播，以避免直接在稀疏数据上进行卷积。具体而言，我们的方法通过一个非线性模型从附近的深度测量中传播目标深度，该模型的系数由一个多层感知器生成，并基于辐射差异和空间距离进行调整。
利用cspn进行深度补全
weixin_42581003的博客
02-16 705
CSPN(Conditional Similarity Network)是一种用于深度补全的神经网络模型。它可以通过给出一些已知的深度信息，如深度图或点云，来预测未知区域的深度信息。 CSPN 的主要思想是通过计算相似性来进行深度预测。具体来说，它通过在已知深度值的点周围建立相似性函数来估计未知区域的深度。这个相似性函数考虑了已知点的位置和深度信息，以及未知点与已知点之间的距离和方向关系。通过优化...
PENet深度补全神经网络 ——（四）：
weixin_44832383的博客
08-30 1112
目录1、Numpy中 arange() 的用法：2、numpy中matmul的使用：3、numpy 矩阵的运算 ：4、Image.fromarray的用法：5、Python图像处理 PIL 中 convert('L') 函数原理：6、numpy img.transpose((2, 0, 1)、img[:, :, ::-1]：7、Python isinstance() 函数：8、PIL 调整图像的亮度、对比度和饱和度等：9、torch.cuda.empty_cache()：Pytorch训练模型时释放GPU显
【深度补全】【Depth Completion】BP-Net
weixin_63458260的博客
07-12 2691
目前主流的深度补全方法都是基于前向传播的，通过在初步得到的稠密深度图不断迭代优化来起作用。本文中，我们给出了双边传播网络（BP-Net）。为了避免直接卷入稀疏信息，我们在前阶段传播深度信息。具体来说，我们的方法通过非线性模型在附近的深度信息中传播目标深度信息。该网络不论在室内还是室外数据集中都展现出出色的表现。网络在NYUv2中得到出色表现，在KITTI中目前排行第一。
[论文阅读]RGB-Depth Fusion GAN for Indoor Depth Completion
qq_41776136的博客
10-17 1522
由于固有的限制，如无法感知透明物体和有限的距离范围，室内深度传感器捕获的原始深度图像通常会有大面积的深度值缺失。这种不完整的深度图给许多后续视觉任务带来了负担，尽管提出了很多深度补全方法来缓解这一问题。但是现有的大多数方法都是从稀疏和均匀采样的深度图生成精确的稠密深度图，不适用于补充大面积连续的深度值缺失区域，而这是十分常见且至关重要。本文设计了一种新颖的两分支端到端融合网络，输入为RGB图像和不完整的深度图，输出为稠密且完整的深度图。
引导方法深度补全系列—晚期融合模型—1—《Dense depth posterior (ddp) from single image and sparse range》文章细读
CSPNNN的博客
09-12 1363
创新点 1.提出了基于贝叶斯理论的两步法网络做深度补全
论文笔记_S2D.68_深度补全网络
惊鸿一博
06-30 633
目录 基本情况 部分内容 1. 2. 2 深度补全网络 基本情况 题目：三维视觉前沿进展 作者： 出处：中国图象图形学报 2021.06 部分内容 1. 2. 2 深度补全网络 与深度回归网络不同,深度补全网络考虑在有稀疏的深度作为输入时,如何估计出密集的深度图。近年来,“彩色图像 + 激光雷达”的数据获取系统是自动驾驶等应用场景中的常见配置,其中激光雷达获取的深度图在深度维度精度较高,但在空间维度非常稀疏,因此这一研究具有较高实用价值。 由于图像/ 深 度 填 充...
PENet深度补全神经网络 ——（五）：
weixin_44832383的博客
09-01 953
目录1、Pytorch中的 torch.cat() 函数：2、pytorch 中 unsqueeze() 函数理解：3、torch.full_like() 创造指定形状和值的矩阵 ：4、pytorch torch.where 用法：5、Pytorch中的转置卷积 nn.ConvTranspose2d：6、torch. nn.Softmax(dim=1)：7、Python isinstance() 函数：8、PIL 调整图像的亮度、对比度和饱和度等：9、torch.cuda.empty_cache()：Pyt
Improving Depth Completion via Depth Feature Upsampling
weixin_63458260的博客
07-21 563
编码器-解码器网络（ED-Net）是显存的深度补全方法中普遍使用的方法之一，但其工作机理尚不明晰。我们将网络结构的中间特征图进行了可视化，以分析网络是如何将稀疏深度输入进行深度化的。我们发现，ED-Net中编码器的图特征关注在稀疏深度输入的点周围。解码器中的特征仍然是稀疏的。ED-Net在先前的阶段中获得了稀疏信息，“稠密到稀疏”的过程破坏了特征的稠密性，并导致信息损失。
将掩膜映射至深度图，对掩膜区域提取深度值； 构建三维点云，进行体积计算； 对深度图进行必要的深度补全（推荐方法如Bilateral Depth Completion、Sparse-to-Dense等）提升精度。
最新发布
06-11
### 如何将掩膜映射到深度图提取深度值 为了将掩膜映射到深度图以提取深度值，需要确保掩膜与深度图在像素级别上对齐。通常，这可以通过图像配准技术实现。例如，如果掩膜和深度图来源于同一相机的不同通道，则可以直接通过索引访问对应像素的深度值[^1]。对于非对齐的情况，可能需要使用几何变换或插值方法来校正掩膜与深度图之间的空间差异。 ```python import numpy as np def extract_depth_from_mask(depth_map, mask): # 确保掩膜和深度图尺寸一致 if depth_map.shape != mask.shape: raise ValueError("Depth map and mask must have the same dimensions.") # 提取掩膜区域的深度值 masked_depth = depth_map[mask > 0] return masked_depth ``` ### 基于深度图构建三维点云进行体积计算 从深度图生成三维点云的过程涉及将每个像素的深度值转换为三维空间坐标。假设相机内参矩阵 \( K \) 已知，可以利用投影几何公式完成这一转换[^2]。随后，通过点云分割和包围盒计算等方法，可以估计目标物体的体积。 ```python import open3d as o3d def depth_to_point_cloud(depth_map, intrinsics): fx, fy, cx, cy = intrinsics # 相机内参 height, width = depth_map.shape points = [] for v in range(height): for u in range(width): z = depth_map[v, u] if z > 0: # 忽略无效深度值 x = (u - cx) * z / fx y = (v - cy) * z / fy points.append([x, y, z]) point_cloud = o3d.geometry.PointCloud() point_cloud.points = o3d.utility.Vector3dVector(points) return point_cloud def calculate_volume(point_cloud): bbox = point_cloud.get_axis_aligned_bounding_box() volume = bbox.volume() return volume ``` ### 使用Bilateral Depth Completion或Sparse-to-Dense提升深度图精度 深度补全的目标是通过填充稀疏或低质量的深度图来提高其分辨率和精度。Bilateral Depth Completion 方法结合了双边滤波器和平滑约束，能够在保持边缘细节的同时填补缺失的深度值[^3]。Sparse-to-Dense 方法则通过学习深度神经网络模型，从稀疏深度输入中预测稠密深度图[^4]。 ```python import torch from bilateral_filter import BilateralFilter # 假设已实现双边滤波器 def bilateral_depth_completion(depth_map, guidance_image): filter = BilateralFilter(sigma_spatial=8, sigma_range=0.1) completed_depth = filter.apply(depth_map, guidance_image) return completed_depth # Sparse-to-Dense 示例（假设使用 PyTorch 模型） def sparse_to_dense_depth(depth_map, model): input_tensor = torch.from_numpy(depth_map).unsqueeze(0).unsqueeze(0).float() with torch.no_grad(): dense_depth = model(input_tensor).squeeze().numpy() return dense_depth ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值