引导方法深度补全系列—早期融合模型—2—《Self-supervised sparse-to-dense: Self-supervised depth completion from lidar a》

原创 已于 2022-11-10 18:13:00 修改 · 277 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #计算机视觉 #神经网络

于 2022-11-10 17:57:42 首次发布
本文介绍了采用Resnet-34作为主干的自监督网络结构，利用稀疏和半密集深度图进行监督，并详细阐述了网络结构中的深度图指导预测和损失函数设计。损失函数包括深度监督、光度损失和平滑度损失，其中光度损失通过姿态估计和反扭曲实现图像重建，平滑度损失则通过L1损失促进深度图的平滑。此外，还讨论了不同密度深度图的使用和PnP及RANSAC算法的应用。

创新点

1.自监督网络结构

论文概述

Resnet-34为主干，图像分支还可以替换为超参数

将稀疏深度图已知像素的输入和输出之间的差异进行惩罚，也可以用半密集的真值深度图

方法详解

1.网络结构

 深度图指导预测深度和网络主要深度损失，图像和深度计算出姿态估计，作为光度损失中间步骤

最低0.47元/天 解锁文章
论文笔记_S2D.44_自监督的从稀疏到稠密：用激光雷达和单目摄像机进行自监督深度补全
惊鸿一博
11-02 1388
基本情况 题目：Self-supervised sparse-to-dense: Self-supervised depth completion from lidar and monocular camera 出处：Ma, F., Cavalheiro, G. V., & Karaman, S. (2019, May). Self-supervised sparse-to-dense: Self-supervised depth completion from lidar and monocu
深度补全 论文及代码汇总，持续更新中~~
不忘初心~
03-14 3175
depth completion
Self-Supervised Sparse-to-Dense:Self-Supervised Depth Completion from LiDAR and Monocular Camera
倚马古道
09-13 1692
进入研二，开始进行学术研究。在老师的指导下，对深度补全问题进行探索，在接下来的一段时间将会分享相关论文。 这篇文章将会分享Self-Supervised Sparse-to-Dense:Self-Supervised Depth Completion from LiDAR and Monocular Camera Abstract 深度补全主要面临的三个挑战：在稀疏深度输入中的不规则...
Self-Supervised Sparse-to-Dense: Self-Supervised Depth Completion from LiDAR and Monocular Camera
weixin_43992618的博客
02-14 2193
论文分享（2） 0.摘要 深度补全，一种从稀疏深度图到估计密集深度图的技术，在机器和自动驾驶中由很大的应用。然而，深度补全面临三个主要的挑战：稀疏深度输入中的不规则间隔模式；处理多种传感器模式的困难（当彩色图存在时）；像素级别真值的密集深度的缺失。在这项工作中，处理了上述所有的挑战。具体来说，我们开发了一个深度回归模型来学习直接的映射从稀疏深度（含彩色图）到密集深度。我们也提出了一个自我监督训练框...
每天一篇论文 282/365 Self-Supervised Monocular Depth Hints
流浪机器人的博客
12-08 1528
原文 摘要 像素点的深度真值是很难获得的，自监督单目深度估计网络的出现是解决这个难题一个很有希望的办法，本文作者提出了一系列的改进，与现有的自监督方法相比，这些改进共同作用得到了定量和定性改进的深度图。自监督单目深度网络的研究通常探究日益复杂的框架，损失函数和图像形成模型，这些有效地缩进了与有监督方法的差距。我们表明一个意外简单的模型和相关的设计选择，可以带来不俗的预测效果。特别是我们提出，（i）...
深度补全文章详读系列
CSPNNN的博客
09-18 1681
此篇博文为个人记录向，内容为多篇深度补全相关论文的半详读，即主要为论文的创新方法部分，既然为学习记录就可能有错误或者不全面的现象出现，希望大家发现后及时指出以便改正。方法分类主要参考这篇综述，系列博客以综述中总结的顺序为参考，顺序研读。深度补全分为两大类，下面将一一介绍相关任务。提示：以下是本篇文章正文内容，下面案例可供参考以上就是博客全部内容，再次提醒大家，如果发现错误务必指出，共同学习共同进步。
Improving Depth Completion via Depth Feature Upsampling
weixin_63458260的博客
07-21 564
编码器-解码器网络（ED-Net）是显存的深度补全方法中普遍使用的方法之一，但其工作机理尚不明晰。我们将网络结构的中间特征图进行了可视化，以分析网络是如何将稀疏深度输入进行深度化的。我们发现，ED-Net中编码器的图特征关注在稀疏深度输入的点周围。解码器中的特征仍然是稀疏的。ED-Net在先前的阶段中获得了稀疏信息，“稠密到稀疏”的过程破坏了特征的稠密性，并导致信息损失。
Depth completion深度补全论文总结
流浪机器人的博客
09-28 3729
Depth completion Paper Self-supervised Sparse-to-Dense: Self-supervised Depth Completion from LiDAR and Monocular Camera code 输入RGB以及稀疏LiDARs 由Depth 网络预测深度，然后在有深度的情况下用OPENCV 的 cv2.xfeatures2d.SIFT_create()检测特征点，然后用cv2.solvePnPRansac解得Poset,通过Photometric L
CCF A类会议或期刊----近两年自监督相关论文
Thincor的博客
03-19 5841
会议/期刊 论文 neurips2020 Self-Supervised MultiModal Versatile Networks. neurips2020 Self-Supervised Relationship Probing. neurips2020 Cross-lingual Retrieval for Iterative Self-Supervised Training. neurips2020 Adversarial Self-Supervised Contrast....
【深度补全算法】基于RGBD相机的深度补全算法(非Lidar)论文与GitHub代码总结
AaaA00000001的博客
11-14 9608
最近组里面因为项目上需要检测边缘信息，需要调研深度图的补全算法，当前的深度图补全主要集中在但目前较多研究聚焦于自动驾驶领域的Lidar深度图的补全，而对RGB-D相机涉猎较少，通过搜集GitHub，下面将对一些深度图的补全算法进行介绍。
论文阅读理解 - Look into Person: Self-supervised Structure-sensitive Learning
长风破浪会有时，直挂云帆济沧海
10-14 2478
Look into Person: Self-supervised Structure-sensitive Learning and A New Benchmark for Human Parsing Code-Caffe Paper 摘要—— 主要两部分：(1)建立Look into Person(LIP)数据集；(2)提出self-supervised structure-sens...
深度图补全-depth inpainting
西北小农民的博客
10-26 7799
Deep Depth Completion of a single RGB-D Image 状态：开源，pytorch，matlab，C++ 下载地址: https://github.com/yindaz/DeepCompletionRelease 思路：目前效果最好(截止至2019. 06)，耗时长。使用rgb image作为输入预测物体表面稠密法线及遮挡区域的边缘信息。使用这些预测结果与...
（翻译）自我监督模式（Self-Monitoring）
gc_2299的博客
08-20 1895
问题概述   让用户能够追踪其想要改变的行为。
Dense Relational Captioning:Triple-Stream Networks for Relationship-Based Captioning
Peter的脱发日记
06-14 1047
Dense Relational Captioning:Triple-Stream Networks for Relationship-Based Captioning 原文地址 时间:2019 CVPR Intro 本文要解决的问题是dense caption，通过寻找每对object之间的关系来进行caption生成 Approach 给一张图片，RPN生成object proposals，然...
深度估计中的不确定度方法总结
TomRen
10-26 6631
针对深度估计、深度补全和稀疏重建等深度估计相关任务，需要利用不确定度或置信度来评价估计结果的好坏。本文总结了一些基于不确定度进行辅助和评价结果可靠性的有效方法。
关闭触控板
倚马古道
10-06 1161
一、完全禁用 由于在笔记本BIOS中找不到禁用PS/2接口的选项，所以只能卸载系统自带的PS/2鼠标驱动： 在“我的电脑”上右键——“属性”——“硬件”——“设备管理器”——在“鼠标和其他指针设备”中，右键“PS/2 Compatible Mouse”（如果你安装过其他触摸板驱动就选择相应的名称）——“卸载”。 然后重新启动计算机。OVER！（建议重启后在“PS/2 Compatible M
DSD（Dense-Sparse-Dense Training）算法详解
AI之路
09-03 8330
论文：DSD： Dense-Sparse-Dense Training for Deep Neural Networks 论文链接：https://arxiv.org/pdf/1607.04381.pdf 模型下载地址：https://songhan.github.io/DSD.这是Song Han发在ICLR2017上的文章，我们知道Song Han的研究领域主要是模型压缩，模型加速等，但是这
【人工智能】【深度学习】④ Stable Diffusion核心算法解析：从DDPM到文本生成图像的飞跃
最新发布
xiezhiyi007的专栏
12-02 1382
Stable Diffusion是AI绘画领域的革命性技术，其核心基于扩散模型：通过"拆快递"式的噪声添加（前向扩散）和"拼乐高"式的逐步去噪（逆向过程），实现从噪声到图像的构建。本文用快递分拣、乐高拼装等生活化类比，解析CLIP文本编码器（翻译文字指令）、VAE（图像压缩）和U-Net（智能拼图）三大核心组件。相比传统GAN模型，它避免模式崩溃，提升语义理解能力，成为文本生成图像的黄金标准。通过代码与架构图解析，帮助开发者快速掌握这项技术的核心逻辑。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值