单目深度估计论文(5）— Digging into self-supervised monocular depth estimation (ICCV 2019)

原创 已于 2022-05-02 22:21:19 修改 · 467 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#计算机视觉 #深度学习 #人工智能

于 2022-05-02 22:17:20 首次发布
本文深入探讨了Monodepth2算法，这是一种在没有监督的情况下进行单目深度估计的方法。通过自监督学习，该算法能够在未标注的图像数据上挖掘深度信息，展示了在计算机视觉领域的创新应用。

Monodepth2 无监督单目深度估计
[1] Godard C, Mac Aodha O, Firman M, et al. Digging into self-supervised monocular depth estimation[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision. 2019: 3828-3838.

Digging Into Self-Supervised Monocular Depth Estimation
qq_45580233的博客
11-08 838
文章目录Digging Into Self-Supervised Monocular Depth Estimation一、介绍二、相关工作2.1 有监督深度估计2.2 自监督深度估计双目立体图像对训练：单目训练：外观损失：三、方法3.1自监督训练3.2 提升的自监督深度估计3.3 其他考虑项四、实验五、结论 Digging Into Self-Supervised Monocular Depth Estimation 目的：提升单目深度估计的精度 模型：自监督学习 数据集：KITTI 输入：单一彩色图像
论文笔记：Digging into self-supervised monocular depth estimation
upup
06-13 2790
一、基本信息 标题：Digging into self-supervised monocular depth estimation 时间：2019 出版源：ICCV 论文领域：深度学习、深度预测、三维重建 引用格式：Godard C, Mac Aodha O, Firman M, et al. Digging into self-supervised monocular depth estimation[C]//Proceedings of the IEEE International Conference
论文阅读：Digging Into Self-Supervised Monocular Depth Estimation（ICCV 2019）
baidu_23388287的博客
11-22 6275
摘要 因为像素级深度数据的groundtruth难以获取，监督学习条件十分受限，所以基于自监督学习或者无监督学习(使用内在几何，通常是多视图几何关系)的图像深度估计越来越受到重视和研究。自监督单目训练研究通常探索增加模型复杂度，损失函数和图像生成模型来帮助缩小与全监督模型的差距。已有研究表明仅使用双目图像对或者单目图像来训练单目深度估计模型是可行的，在使用单目图像训练深度估计时，同时还要训练时...
论文笔记 Digging into self-supervised monocular depth estimation
weixin_43886134的博客
06-16 1133
问题提出 大规模地获取单像素的真值深度数据有挑战性，为了克服这个困难，提出了一个自监督学习的单目深度估计的方法。 contributions 对已有方法有一些改进，在定性和定量上改进了深度图。模型简单，本文提出了（1）表面匹配loss，为了解决使用单目监督时的像素遮挡问题（2）为减少视觉伪影的全分辨率多尺度采样方法（3）自动遮罩方法用于忽略在单目训练时没有观测到相对相机运动的像素。 现有的方法： 有监督的深度估计：结合局部的预测，无参数的场景采样，端到端的有监督学习等。 自监督的深度估计：通过最小化图像的
【论文阅读】Digging Into Self-Supervised Monocular Depth Estimation
weixin_55982578的博客
04-11 1617
论文：https://arxiv.org/pdf/1806.01260.pdf代码：https://github.com/nianticlabs/monodepth2。
Digging Into Self-Supervised Monocular Depth Estimation（2019.8）
sky的博客
12-11 4579
深入研究基于自监督的单目深度估计 贡献： （1）一个最小投影损失来解决遮挡问题。 （2）全分辨率的多尺度采样方法，减少视觉混乱 （3）设计一个 auto-masking loss 来忽略相机运动假设 一、介绍 作为监督学习的替代选择，自监督方法被证明能够仅使用合成的立体图像对或单目视频对单目深度估计模型进行训练。 在两种自监督方法中，单目视频比基于立体图像的监督...
深度估计-01-Digging Into Self-Supervised Monocular Depth Estimation
qq_40600539的博客
10-13 1599
ICCV 2019 [paper] [code] Overview 本文介绍一种自监督的深度估计方法Monodepth2。 太长不看版： 1、提出minmum loss在解决multi-view时存在的遮挡问题，指出应该取multi-view中的最小的光度误差，而不是对误差取平均，这是因为当合成图像某处存在遮挡时候，会造成合成图像产生较大的光度误差，而影响模型训练。 2、提出一种multi-scale采样的方法，对low-level的深度图，采用先upsample到原图大小再进行变换的方法，这样.
Monodepth2: Digging Into Self-Supervised Monocular Depth Estimation精读
weixin_43151193的博客
07-07 1276
Monodepth2: Digging Into Self-Supervised Monocular Depth Estimation精读
论文研读14 Digging Into Self-Supervised Monocular Depth Estimation
老程的技术笔记
10-11 1157
像素级别的真实深度数据在大规模获取时具有挑战性。为了克服这一限制，自监督学习已成为训练单目深度估计模型的有前途的替代方案。在本文中，我们提出了一系列改进，这些改进使得与现有自监督方法相比，无论是定量还是定性深度图都有了提升。单目自监督训练的研究通常探索越来越复杂的架构、损失函数和图像形成模型，这些最近都帮助缩小了与完全监督方法之间的差距。我们展示了一种令人惊讶的简单模型及其相关的设计选择，能够生成更优的预测。
《MonoDepth2：Digging Into Self-Supervised Monocular Depth Estimation》论文笔记
m_buddy的博客
05-19 1366
参考代码：monodepth2 1. 概述 导读：由于图片的准确深度信息获取的代价是比较大的，因而使用带有标注的数据去训练会存在较大的成本。因此近来自监督的方法吸引了较多研究者的注意，本篇文章研究的是单目下的自监督深度估计问题，基于经典的计算机视觉原理，文章将深度估计任务划分为两个子功能模块： 1）从目标图像（target image）通过编解码网络获取深度信息； 2）从源图像（source images）和目标图像组成的图像对中去估计出该图像对之间的变换关系（由旋转和平移组成的6维度变换状态）； 为了更
Digging Into Self-Supervised Monocular Depth Estimation 论文阅读#paper reading
qq_29679623的博客
10-16 4428
SFM（Structure From Motion）的思想被越来越多的借鉴，用于无监督（自监督）的深度估计、姿态估计中。自SFM的开篇之作之后，各种motion相关的改进和新作不断出现。这篇文章，就是在motion搭框架的基础上，对各种结构模块做了一些改进，结果取得了非常大的进步。 文章并没有做网络上或者方法上突破性的创新，甚至可以说都是沿用了一些现有的模块和思想，但是一样获得了不错的结果。 ...
论文笔记-Digging Into Self-Supervised Monocular Depth Estimation
kingsleyluoxin的博客
08-06 850
论文信息 标题： Digging Into Self-Supervised Monocular Depth Estimation 作者：Clement Godard, Oisin Mac Aodha, Michael Firman, Gabriel Brostow 机构：UCL, Caltech, Niantic 代码链接 www.github.com/nianticlabs/monodepth2 论文主要贡献 外观匹配 loss 用于解决使用单目监督信号的问题和遮挡像素的问题 新的、..
(2019)Digging Into Self-Supervised Monocular Depth Estimation
weixin_43985824的博客
08-30 437
逐像素地真深度数据的大规模获取具有挑战性。为了克服这一限制，自监督学习已经成为训练模型执行单目深度估计的有希望的替代方法。在本文中，我们提出了一系列改进措施，与竞争的自监督方法相比，这些改进措施在数量和质量上都提高了深度图。对自监督单目训练的研究通常会探索越来越复杂的架构、损失函数和图像形成模型，所有这些都有助于缩小与全监督方法的差距。我们展示了一个令人惊讶的简单模型，以及相关的设计选择，导致了更好的预测。特别是，我们提出(i)，旨在鲁棒地处理遮挡，(ii)减少视觉伪影的，以及(iii)
Monodepth2 ：Digging Into Self-Supervised Monocular Depth Estimation 阅读笔记
weixin_41790566的博客
05-17 975
文章使用深度网络和姿态网络。 深度网络是U-Net 编码器-解码器模型结构。 编码器是经过预训练的ResNet模型，解码器能够将输出转化成深度值，这个深度值是一个归一化的相对深度，即离相机越近，值越接近0，无穷远接近1。可用深度图表示。 使用两个彩色图像作为输入来预测单个6自由度相对姿势或旋转和平移参数。单个图像作为输入来预测深度。 理解U-net：U-net是一种编码器-解码器结构，最初应用于图像分割。与传统CNN不同，之前见到的CNN往往用于分类，相当于输入一个图像，CNN层层提取特征图，最后通过
经典！！单目深度估计方向整理--Digging Into Self-Supervised Monocular Depth Estimation
m0_58969377的博客
04-24 2169
单目深度估计经典monodepth2。在本文中，我们提出了一系列改进，与竞争的自监督方法相比，这些改进共同导致了定量和定性的深度图改进。自我监督单目训练的研究通常探索越来越复杂的架构，损失函数和图像形成模型，所有这些最近都有助于缩小与全监督方法的差距。我们表明，一个令人惊讶的简单的模型，以及相关的设计选择，导致上级的预测。
Digging into Self-Supervised Monocular Depth Prediction 论文笔记
Tianchao龙虾
04-09 688
Digging into Self-Supervised Monocular Depth Prediction 论文链接： https://arxiv.org/abs/1806.01260 一、 Problem Statement 解决monodepth1重叠，深度不连续，还有需要两张图片进行训练等问题。 二、 Direction 提出了三点: a minimum project loss(appearance matching loss), 解决occlusion问题。 a full-resolutio
基于单目视觉深度估计的论文研究
RuiWell的博客
10-08 1157
单目视觉 From Big to Small: Multi-Scale Local Planar Guidance for Monocular Depth Estimation 作者:Jin Han Lee, Myung-Kyu Han, Dong Wook Ko and Il Hong Suh 摘要: 由于无限多的三维场景可以投影到同一个二维场景，因此从单个图像估计精确的深度是一个具有挑战性的问题。然而，近年来基于深卷积神经网络的研究显示，在取得可信结果方面取得了很大进展。网络通常由两部分组成：用于密集特
（单目深度估计）笔记
EDG_Clearlove_7的博客
01-15 834
基于单目视觉的深度预测
UnRectDepthNet: Self-Supervised Monocular Depth Estimation using a Generic Framework for Handling
kebijuelun的博客
01-25 920
Paper name UnRectDepthNet: Self-Supervised Monocular Depth Estimation using a Generic Framework for Handling Common Camera Distortion Models Paper Reading Note URL: https://arxiv.org/pdf/2007.06676.pdf TL;DR Introduction Dataset/Algorithm/Model/Experime
Digging into Self-Supervised Monocular Depth Estimation论文复现
最新发布
03-19
### 关于Self-Supervised Monocular Depth Estimation论文的复现方法与代码 #### 复现方法概述 为了成功复现Self-Supervised Monocular Depth Estimation的相关工作，通常需要遵循以下几个方面的要求： 1. **数据准备** 自监督单目深度估计的核心在于利用未标注的数据进行训练。例如，《PackNet：3D Packing for Self-Supervised Monocular Depth Estimation》提到使用视频序列和相机运动信息作为输入[^2]。因此，可以选择公开可用的数据集如KITTI、Cityscapes或DDAD（如果适用），并确保数据预处理阶段能够提取连续帧及其对应的相机姿态。 2. **网络架构设计** 不同的论文采用了不同的网络结构来提升深度估计的效果。例如： - DIFFNet引入了高分辨率编码器，并通过注意力机制优化跳接连接[^1]。 - HR-Depth则专注于增强 shortcut 连接的质量以及采用 fSE 特征融合算子以更好地保留语义和空间信息[^4]。 在实际复现时，可以根据目标需求选择合适的网络结构或者尝试结合多种技术特点。 3. **损失函数定义** 损失函数的设计对于自监督学习至关重要。常见的做法包括但不限于光度一致性损失 (photometric consistency loss)，几何正则化项等。特别值得注意的是，《Digging Into Self-Supervised Monocular Depth Estimation》一文中提到了几种改进措施——最小重投影损失、自适应遮罩损失及全分辨率多尺度采样方法，这些都可以显著改善最终结果[^3]。 4. **实验环境配置** 确保开发环境中安装有必要的依赖库版本匹配（比如PyTorch/TensorFlow）。同时也要注意硬件资源是否满足大规模神经网络训练的需求。 #### 示例代码片段 以下是基于PyTorch框架的一个简单示例，展示如何构建基础版的自监督单目深度估计流程的一部分： ```python import torch import torch.nn as nn from torchvision import models class Encoder(nn.Module): def __init__(self): super(Encoder, self).__init__() resnet = models.resnet18(pretrained=True) layers = list(resnet.children())[:8] self.encoder = nn.Sequential(*layers) def forward(self, x): return self.encoder(x) class Decoder(nn.Module): def __init__(self): super(Decoder, self).__init__() # Define decoder architecture here... def forward(self, x): pass # Implement decoding logic def photometric_loss(img1_warped, img2): """Compute photometric reconstruction error.""" l1_loss = torch.abs(img1_warped - img2).mean() ssim_loss = SSIM()(img1_warped, img2).mean() # Assume an implemented SSIM function exists. total_loss = 0.85 * ssim_loss + 0.15 * l1_loss return total_loss # Instantiate encoder & decoder... encoder = Encoder().cuda() decoder = Decoder().cuda() # Example usage during training loop: for batch_data in dataloader: imgs, poses = batch_data['imgs'], batch_data['poses'] features = encoder(imgs.cuda()) depths_pred = decoder(features) # Predicted inverse depth maps. warped_img = warp_image(depths_pred, poses) # Function to perform warping based on predicted depths and camera poses. loss_value = photometric_loss(warped_img, target_img) optimizer.zero_grad() loss_value.backward() optimizer.step() ``` 上述代码仅为示意性质，具体实现还需参照原论文中的详细算法描述调整参数设定与功能模块。 --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值