自监督单目深度估计：通过语义引导解决目标问题 Self-Supervised Monocular Depth Estimation:Solving the Dynamic Object Problem

最新推荐文章于 2024-10-11 10:06:12 发布
原创 最新推荐文章于 2024-10-11 10:06:12 发布 · 2.5k 阅读 · 15 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

提出一种新的语义引导的深度估计方法来处理动态物体问题。采用有监督的语义分割和自监督的深度估计进行互利跨域训练，提供防止移动物体污染的光度损失的语义遮蔽方案。

Self-Supervised Monocular Depth Estimation:Solving the Dynamic Object Problem

(自监督单目深度估计：通过语义引导解决目标问题)

重投影损失：指当前观测到的位置与3D点按照当前位姿估计出来的位置相比较得到的误差。

0 摘要

  提出一种新的语义引导的深度估计（SGDepth）方法来处理运动的动态类问题（DC）,例如运动的汽车和行人。采用有监督的语义分割和自监督的深度估计进行互利跨域训练，提供防止移动对象污染的光度损失的语义遮蔽方案，以及对非移动对象的检测方法。

1介绍

  经典的基于模型的算法可以根据可以更具立体图像或图像序列预测深度，但是受到模型质量的限制。深度学习能够在激光雷达或者RGBD相机测量的监控下，从单个弹幕图像中预测深度，即有监督的深度估计。后续根据最小重投影损失引入了自监督的方法，并且通过最小化光度误差来优化深度，而不需要任何的标签。在这里插入图片描述
  上图在源域下进行有监督的语义分割，在目标域下进行自监督的深度估计。在进行深度估计时，将已经训练好的语义分割网络用来指导深度估计过程，语义分割相当于预处理。例如输入的单张图片，先进行语义分割，再将语义分割的结果用来指导深度估计。
  自监督单目深度估计目前有以下三个问题：

  1. 无法避免的遮挡问题，遮挡会诱发伪像。即遮挡问题会带来无法避免的重投影损失问题。
  2. 由于缺乏自我运动，帧间运动太小，导致不能推断
最低0.47元/天 解锁文章
论文笔记：Digging into self-supervised monocular depth estimation
upup
06-13 2786
一、基本信息 标题：Digging into self-supervised monocular depth estimation 时间：2019 出版源：ICCV 论文领域：深度学习、深度预测、三维重建 引用格式：Godard C, Mac Aodha O, Firman M, et al. Digging into self-supervised monocular depth estimation[C]//Proceedings of the IEEE International Conference
论文笔记-Digging Into Self-Supervised Monocular Depth Estimation
kingsleyluoxin的博客
08-06 849
论文信息 标题： Digging Into Self-Supervised Monocular Depth Estimation 作者：Clement Godard, Oisin Mac Aodha, Michael Firman, Gabriel Brostow 机构：UCL, Caltech, Niantic 代码链接 www.github.com/nianticlabs/monodepth2 论文主要贡献 外观匹配 loss 用于解决使用单目监督信号的问题和遮挡像素的问题 新的、..
CVPR‘2023 | Lite-Mono: 一种新的轻量级自监督单目深度估计方
专注计算机视觉全栈知识分享
04-19 1895
本文提出了一种新的轻量级单目自监督单目深度估计方法。设计了一种混合的CNN和Transformer架构来建模多尺度增强的局部特征和全局上下文信息。在8个KITTI数据集上的实验结果证明了该方法的优越性。通过在提出的CDC块中设置优化的扩张率，并插入LGFI模块来获得局部-全局特征相关性，Lite-Mono可以感知不同尺度的物体，甚至是对靠近摄像机的移动物体。论文还验证了该模型在Make3D数据集上的泛化能力。此外，Lite-Mono在模型复杂性和推理速度之间实现了良好的权衡。
《Revisiting Self-Supervised Monocular Depth Estimation》论文笔记
m_buddy的博客
04-14 3101
参考代码：None 1. 概述 介绍：回顾前几年的一些自监督型深度估计算法，它们都是从不同的角度对自监督深度估计方法进行改进。总结这些算法中对自监督深度估计的改进idea，发现这些算法有的是为了解决场景光照变化对深度估计稳定性的影响；有的是对相机运动下场景中物体遮挡运动进行建模，从而减少对于前期假设先验的违背的影响。而这些改进的idea它们的来源是不同的文章，那么它们组合起来是否能达到比原方法更好的效果呢？或者更进一步怎么将这些idea进行有机组合才能得到最优的优化效果？这篇文章算是对这些问题的初步探究，
SGDepth:[ECCV 2020]自监督单眼深度估计
05-08
自监督单眼深度估计：通过语义指导解决动态对象问题 ， ，Jonas Mikolajczyk和 – ECCV 2020 ECCV演示 方法背后的想法 自我监督的单眼深度估计通常依赖于训练过程中静态世界的假设，该动态世界违反了静态世界。 在我们的论文中，我们介绍了一个多任务学习框架，该框架从语义上指导自我监督的深度估计以处理此类对象。 引文 如果您发现我们的工作有用或有趣，请考虑引用： @inproceedings{klingner2020selfsupervised, title = {{Self-Supervised Monocular Depth Estimation: Solving the Dynamic Object Problem by Semantic Guidance}}, author = {Marvin Klingner and J
基于域分离的全天图像自监督单目深度估计 Self-supervised Monocular Depth Estimation for All Day Images using Domain Separ
SHS_JAVA的博客
02-22 3565
Self-supervised Monocular Depth Estimation for All Day Images using Domain Separation 基于域分离的全天图像自监督单目深度估计 0 Abstract 亮点：对于全天道路深度估计中的早晚图像差异过大问题。提出了一个域分离自监督单目深度估计网络，主要用来提升同一个网络在白天和晚上两个场景中的深度估计精度,将白天图像和晚上图像的特征分为私有特征和共同特征，采用正交损失来确立私有特征和共同特征的不同。深度估计21年顶会文章对于遮挡和
论文研读14 Digging Into Self-Supervised Monocular Depth Estimation
老程的技术笔记
10-11 1138
像素级别的真实深度数据在大规模获取时具有挑战性。为了克服这一限制，自监督学习已成为训练单目深度估计模型的有前途的替代方案。在本文中，我们提出了一系列改进，这些改进使得与现有自监督方法相比，无论是定量还是定性深度图都有了提升。单目自监督训练的研究通常探索越来越复杂的架构、损失函数和图像形成模型，这些最近都帮助缩小了与完全监督方法之间的差距。我们展示了一种令人惊讶的简单模型及其相关的设计选择，能够生成更优的预测。
深度估计-01-Digging Into Self-Supervised Monocular Depth Estimation
qq_40600539的博客
10-13 1596
ICCV 2019 [paper] [code] Overview 本文介绍一种自监督的深度估计方法Monodepth2。 太长不看版： 1、提出minmum loss在解决multi-view时存在的遮挡问题，指出应该取multi-view中的最小的光度误差，而不是对误差取平均，这是因为当合成图像某处存在遮挡时候，会造成合成图像产生较大的光度误差，而影响模型训练。 2、提出一种multi-scale采样的方法，对low-level的深度图，采用先upsample到原图大小再进行变换的方法，这样.
[算法整理]可能是最全的无监督/自监督单目深度估计方法汇总 - Part1.5:视频序列篇-续
weixin_41625823的博客
06-28 1575
自监督单目深度估计旨在通过不包含深度真值的训练样本训练一个模型，使其可以从单幅图像中学习深度。本文整理了6篇基于视频序列训练的、同时处理多个任务的自监督单目深度估计方法。
CVPR2023论文速览自监督Self-Supervised相关38篇
weixin_44287798的博客
06-21 2020
CVPR2023论文速览自监督
每天一篇论文 301/365 3D Packing for Self-Supervised Monocular Depth Estimation
流浪机器人的博客
12-28 3340
3D Packing for Self-Supervised Monocular Depth Estimation PackNet-SfM: 3D Packing for Self-Supervised Monocular Depth Estimation 摘要 尽管相机无处不在，机器人平台通常依赖于像激光雷达这样的主动传感器进行直接的三维感知。在这项工作中，我们提出了一种新的自监督单目深度估计方...
Frequency-Aware Self-Supervised Monocular Depth Estimation——论文笔记
m_buddy的博客
02-14 505
介绍：在自监督深度估计算法中采用光度重构误差作为约束函数，但是这个约束函数却是存在不足的，也就是损失的大小在某些区域不能真实反应深度预测的误差大小，如图像中的高频区域，从而给整体算法Loss带来歧义（深度估计误差于光度重构误差的比例不正相关）。对于这个问题文章提出了两种策略去缓解高频区域处不确定性带来的歧义：1）Ambiguity-Masking：通过感知图像中的高频信息分布（图像梯度变化），给光度重构误差增加一个权重因子，从而缓解高频信息处Loss的不确定性。
论文阅读：Digging Into Self-Supervised Monocular Depth Estimation（ICCV 2019）
baidu_23388287的博客
11-22 6273
摘要 因为像素级深度数据的groundtruth难以获取，监督学习条件十分受限，所以基于自监督学习或者无监督学习(使用内在几何，通常是多视图几何关系)的图像深度估计越来越受到重视和研究。自监督单目训练研究通常探索增加模型复杂度，损失函数和图像生成模型来帮助缩小与全监督模型的差距。已有研究表明仅使用双目图像对或者单目图像来训练单目深度估计模型是可行的，在使用单目图像训练深度估计时，同时还要训练时...
CVPR2023 | 轻量高效的自监督深度估计框架Lite-Mono
2301_77854234的博客
06-19 1317
自监督学习近一年来可谓是计算机视觉的大热门，今天向大家分享一篇来自 CVPR 2023 的论文，介绍一个轻量高效的自监督深度估计框架Lite-Mono。
《MonoIndoor：Towards Good Practice of Self-Supervised Monocular Depth Estimation...》论文笔记
m_buddy的博客
03-22 4704
参考代码：None 1. 概述 介绍：经典的自监督深度估计方法已经在KITTI数据集上取得了较为不错的效果，但是在一些室内或是相机能够自由移动（KITTI场景下相机固定在车上）的场景下，现有的经典自监督深度估计算法就出现了问题。这篇文章研究的便是这些场景下的自监督深度估计，在该文章中指出自监督深度估计在这些场景下性能出现较大幅度下降是因为如下两点原因： 在这些场景下深度的范围是变化比较大的，特别是在一些室内场景下，随着视角的变化图像中深度的范围会存在较大范围变化。而在KITTI的场景下最远处是天空其深度
CVPR‘2023 | Lite-Mono: 一种新的轻量级自监督单目深度估计方法
专注计算机视觉全栈知识分享
04-22 1475
本文提出了一种新的轻量级单目自监督单目深度估计方法。设计了一种混合的CNN和Transformer架构来建模多尺度增强的局部特征和全局上下文信息。在8个KITTI数据集上的实验结果证明了该方法的优越性。通过在提出的CDC块中设置优化的扩张率，并插入LGFI模块来获得局部-全局特征相关性，Lite-Mono可以感知不同尺度的物体，甚至是对靠近摄像机的移动物体。论文还验证了该模型在Make3D数据集上的泛化能力。此外，Lite-Mono在模型复杂性和推理速度之间实现了良好的权衡。
论文阅读：Self-Supervised Monocular Depth Estimation with Internal Feature Fusion(DIFFNet)
blueag1e的博客
02-28 885
Self-Supervised Monocular Depth Estimation with Internal Feature Fusion
Self-Supervised Scale Recovery for Monocular Depth and Egomotion Estimation
weixin_47646598的博客
06-27 674
Self-Supervised Scale Recovery for Monocular Depth and Egomotion Estimation code: https://github.com/utiasSTARS/learned_scale_recovery.git 摘要：用单目图像联合训练预测深度值和egomotion神经网络的自我监督损失公式已经得到了很好的研究，并证明了最先进的准确性。然而，这种方法的一个主要局限性是，深度值和egomotion的估计只能在一个未知的范围内确定。在本文中，我
Digging Into Self-Supervised Monocular Depth Estimation
qq_45580233的博客
11-08 837
文章目录Digging Into Self-Supervised Monocular Depth Estimation一、介绍二、相关工作2.1 有监督深度估计2.2 自监督深度估计双目立体图像对训练：单目训练：外观损失：三、方法3.1自监督训练3.2 提升的自监督深度估计3.3 其他考虑项四、实验五、结论 Digging Into Self-Supervised Monocular Depth Estimation 目的：提升单目深度估计的精度 模型：自监督学习 数据集：KITTI 输入：单一彩色图像
Digging into Self-Supervised Monocular Depth Estimation论文复现
最新发布
03-19
### 关于Self-Supervised Monocular Depth Estimation论文的复现方法与代码 #### 复现方法概述 为了成功复现Self-Supervised Monocular Depth Estimation的相关工作，通常需要遵循以下几个方面的要求： 1. **数据准备** 自监督单目深度估计的核心在于利用未标注的数据进行训练。例如，《PackNet：3D Packing for Self-Supervised Monocular Depth Estimation》提到使用视频序列和相机运动信息作为输入[^2]。因此，可以选择公开可用的数据集如KITTI、Cityscapes或DDAD（如果适用），并确保数据预处理阶段能够提取连续帧及其对应的相机姿态。 2. **网络架构设计** 不同的论文采用了不同的网络结构来提升深度估计的效果。例如： - DIFFNet引入了高分辨率编码器，并通过注意力机制优化跳接连接[^1]。 - HR-Depth则专注于增强 shortcut 连接的质量以及采用 fSE 特征融合算子以更好地保留语义和空间信息[^4]。 在实际复现时，可以根据目标需求选择合适的网络结构或者尝试结合多种技术特点。 3. **损失函数定义** 损失函数的设计对于自监督学习至关重要。常见的做法包括但不限于光度一致性损失 (photometric consistency loss)，几何正则化项等。特别值得注意的是，《Digging Into Self-Supervised Monocular Depth Estimation》一文中提到了几种改进措施——最小重投影损失、自适应遮罩损失及全分辨率多尺度采样方法，这些都可以显著改善最终结果[^3]。 4. **实验环境配置** 确保开发环境中安装有必要的依赖库版本匹配（比如PyTorch/TensorFlow）。同时也要注意硬件资源是否满足大规模神经网络训练的需求。 #### 示例代码片段 以下是基于PyTorch框架的一个简单示例，展示如何构建基础版的自监督单目深度估计流程的一部分： ```python import torch import torch.nn as nn from torchvision import models class Encoder(nn.Module): def __init__(self): super(Encoder, self).__init__() resnet = models.resnet18(pretrained=True) layers = list(resnet.children())[:8] self.encoder = nn.Sequential(*layers) def forward(self, x): return self.encoder(x) class Decoder(nn.Module): def __init__(self): super(Decoder, self).__init__() # Define decoder architecture here... def forward(self, x): pass # Implement decoding logic def photometric_loss(img1_warped, img2): """Compute photometric reconstruction error.""" l1_loss = torch.abs(img1_warped - img2).mean() ssim_loss = SSIM()(img1_warped, img2).mean() # Assume an implemented SSIM function exists. total_loss = 0.85 * ssim_loss + 0.15 * l1_loss return total_loss # Instantiate encoder & decoder... encoder = Encoder().cuda() decoder = Decoder().cuda() # Example usage during training loop: for batch_data in dataloader: imgs, poses = batch_data['imgs'], batch_data['poses'] features = encoder(imgs.cuda()) depths_pred = decoder(features) # Predicted inverse depth maps. warped_img = warp_image(depths_pred, poses) # Function to perform warping based on predicted depths and camera poses. loss_value = photometric_loss(warped_img, target_img) optimizer.zero_grad() loss_value.backward() optimizer.step() ``` 上述代码仅为示意性质，具体实现还需参照原论文中的详细算法描述调整参数设定与功能模块。 --- ###
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值