论文阅读：Self-Supervised Monocular Depth Estimation with Internal Feature Fusion(DIFFNet)

已于 2023-03-01 10:28:16 修改
阅读量823 收藏 3
点赞数 1
分类专栏： 深度估计 文章标签： 论文阅读
于 2023-02-28 16:36:39 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/blueag1e/article/details/129255772
版权
该文提出了一种新的自监督单目深度估计方法，利用HRNet保持高分辨率特征的优势，并设计了注意力模块处理跳接信息。通过扩展的评估策略，对方法在困难场景中的性能进行了测试。在解码器中应用了通道注意力机制，增强了特征融合。实验证明了这种方法的有效性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

中文标题：基于内部特征融合的自监督单目深度估计

创新点

  • 参照HR-Net在网络上下采样的过程中充分利用语义信息。
  • 设计了一个注意力模块处理跳接。
  • 提出了一个扩展的评估策略，其中方法可以使用基准数据中的困难的情况进行进一步测试，以一种自我建立的方式形成。

网络结构设计

高分辨率编码器

在这里插入图片描述

  • 浅层但高分辨率的特征在空间上很精确，相反，深层但低分辨率的特征在空间上并不精确，但是语义信息丰富。
  • x r e , s x^e_r,s xre​,s代表特征图中第s阶段，第r个子流。第r个子流的分辨率是原分辨率的 1 / 2 r − 1 1/2^{r-1} 1/2r−1。
  • 使用HRNet编码器，效果明显强于ResNet.
  • DIFFNet强制来自不同阶段的特征映射包含不同的语义信息，但在解码之前使用连接策略融合来自所有中间阶段的输出。
    在这里插入图片描述
    在这里插入图片描述- HRNet和DiFFNet不同节点间特征可视化图，可知DiFFnet的深层特征更加语义。
    在这里插入图片描述- HRNet和DIFFNet

注意力机制深度解码器

  • 解码器的整体结构和Mono2类似。将DIFF Encoder的每一自流集合的特征当作与编码器的跳接形成U-net。重点是加入了通道注意力机制帮助特征融合。
  • 注意力机制：
    ![在这里插入图片描述](https://img-blog.csdnimg.cn/c3fcbad0a59e4e80acde82c36e3c51ab.png#pic_center# = 400x)
  • 在消融实验中，加入空间注意力机制效果不佳，顾舍弃。

蒸馏实验结果

在这里插入图片描述

扩展的评估

  • 选取了验证集上最难的10张图单独作为测试集进行评估。
    在这里插入图片描述

参考文献

[1] Zhou H, Greenwood D, Taylor S. Self-supervised monocular depth estimation with internal feature fusion[J]. arXiv preprint arXiv:2110.09482, 2021.

3D Packing for Self-Supervised Monocular Depth Estimation
weixin_56836871的博客
11-07 846
动机： propose a novel self-supervised monocular depth estimation method combining geometry with a new deep network 【CC】混合了几何特性的（就是后面的视锥模型）的自监督的单目深度估计网络 创新点 Our architecture leverages novel symmetrical packing and unpacking blocks to jointly learn to compress
《MonoIndoor：Towards Good Practice of Self-Supervised Monocular Depth Estimation...》论文笔记
m_buddy的博客
03-22 4666
参考代码：None 1. 概述 介绍：经典的自监督深度估计方法已经在KITTI数据集上取得了较为不错的效果，但是在一些室内或是相机能够自由移动（KITTI场景下相机固定在车上）的场景下，现有的经典自监督深度估计算法就出现了问题。这篇文章研究的便是这些场景下的自监督深度估计，在该文章中指出自监督深度估计在这些场景下性能出现较大幅度下降是因为如下两点原因： 在这些场景下深度的范围是变化比较大的，特别是在一些室内场景下，随着视角的变化图像中深度的范围会存在较大范围变化。而在KITTI的场景下最远处是天空其深度
论文笔记：HR-Depth:High Resolution Self-Supervised Monocular Depth Estimation
blueag1e的博客
02-07 1285
HR-Depth:High Resolution Self-Supervised Monocular Depth Estimation
自监督单目深度估计：通过语义引导解决目标问题 Self-Supervised Monocular Depth Estimation:Solving the Dynamic Object Problem
SHS_JAVA的博客
04-26 2356
Self-Supervised Monocular Depth Estimation:Solving the Dynamic Object Problem (自监督单目深度估计：通过语义引导解决目标问题) 0 摘要   提出一种新的语义引导的深度估计（SGDepth）方法来处理运动的动态类问题（DC）,例如运动的汽车和行人。采用有监督的语义分割和自监督的深度估计进行互利跨域训练，提供防止移动对象污染的光度损失的语义遮蔽方案，以及对非移动对象的检测方法。 ...
Diffnet++代码
06-01
Diffnet++代码
【ECCV2020】接收论文列表part1
TomRen
07-18 7013
ECCV2020 接收论文完整列表 看论文学CV
CVPR 2021最全论文开放下载！附pdf下载链接！
中科院AI算法工程师的博客
06-18 1万+
CVPR 2021最全论文开放，附所有pdf下载链接！
【论文阅读笔记】NeurIPS2020文章列表Part1
热门推荐
zincrain的博客
12-09 2万+
A graph similarity for deep learning An Unsupervised Information-Theoretic Perceptual Quality Metric Self-Supervised MultiModal Versatile Networks Benchmarking Deep Inverse Models over time, and the Neural-Adjoint method Off-Policy Evaluation and Learning.
AAAI 2022 论文列表
gbstack08的专栏
02-15 2万+
链接及代码之后会更新 GitHub链接：https://github.com/gbstack/AAAI-2022-papers Scaled ReLU Matters for Training Vision Transformers Pichao Wang, Xue Wang, Hao Luo, Jingkai Zhou, Zhipeng Zhou, Fan Wang, Hao Li, Rong Jin Search Strategies for Topological Network Optimizat
（八：2020.08.27）CVPR 2020 追踪之论文纲要（译）
Jojo论文基地
08-27 1万+
CVPR 2019 追踪之论文纲要（修正于2020.08.27）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这1400篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 Respect！ 论文目录 论文 概要 12-in-1 - Multi-Task Vision and Language Repre
matlab影像镶嵌代码-diffnet:使用神经网络的扩散张量成像重建
06-16
matlab影像镶嵌代码应用DiffNet.py DiffNet 方法的简单实现如下所述： Aliotta E, Nourzadeh H, Sanders J, Muller D, Ennis DB. Highly Accelerated, Model-Free Diffusion Tensor MRI Reconstruction Using Neural Networks. Med Phys. 2019 Jan 24; https://doi.org/10.1002/mp.13400 此代码读取一组位于 . 这些 dicom 文件应包含 b=1000s/mm2 和 3、6 或 20 个扩散编码方向以及一张 b=0 参考图像的 DWI。 此代码假设数据首先包含 b=0 图像，然后是所有 DWI。 训练这些网络的具体方向来自西门子 20 方向协议，并在上面的 Med Phys 论文中提供。 初步测试表明，结果与特定的输入方向相当独立，但这尚未经过正式评估。 数据可以格式化为： 马赛克视图（所有切片都保存在单个图像中，每个图像代表一个独立的扩散编码方向 [Nx,Ny,Ndir] 标准视图
PBL-Diff.Net_11679
07-02
PBL-Diff.Net_11679
CVPR‘2023 | Lite-Mono: 一种新的轻量级自监督单目深度估计方
专注计算机视觉全栈知识分享
04-19 1695
本文提出了一种新的轻量级单目自监督单目深度估计方法。设计了一种混合的CNN和Transformer架构来建模多尺度增强的局部特征和全局上下文信息。在8个KITTI数据集上的实验结果证明了该方法的优越性。通过在提出的CDC块中设置优化的扩张率，并插入LGFI模块来获得局部-全局特征相关性，Lite-Mono可以感知不同尺度的物体，甚至是对靠近摄像机的移动物体。论文还验证了该模型在Make3D数据集上的泛化能力。此外，Lite-Mono在模型复杂性和推理速度之间实现了良好的权衡。
Self-Supervised Scale Recovery for Monocular Depth and Egomotion Estimation
weixin_47646598的博客
06-27 613
Self-Supervised Scale Recovery for Monocular Depth and Egomotion Estimation code: https://github.com/utiasSTARS/learned_scale_recovery.git 摘要：用单目图像联合训练预测深度值和egomotion神经网络的自我监督损失公式已经得到了很好的研究，并证明了最先进的准确性。然而，这种方法的一个主要局限性是，深度值和egomotion的估计只能在一个未知的范围内确定。在本文中，我
Digging Into Self-Supervised Monocular Depth Estimation
qq_45580233的博客
11-08 795
文章目录Digging Into Self-Supervised Monocular Depth Estimation一、介绍二、相关工作2.1 有监督深度估计2.2 自监督深度估计双目立体图像对训练：单目训练：外观损失：三、方法3.1自监督训练3.2 提升的自监督深度估计3.3 其他考虑项四、实验五、结论 Digging Into Self-Supervised Monocular Depth Estimation 目的：提升单目深度估计的精度 模型：自监督学习 数据集：KITTI 输入：单一彩色图像
DiffNet++: A Neural Influence and Interest Diffusion Network for Social Recommendation
m0_56321960的博客
12-18 1706
本文提出了一种名为DiffNet++的神经社交和兴趣扩散模型，用于社交推荐。通过联合建模社交网络和兴趣网络的高阶结构，可以相互增强推荐效果。模型将社交推荐问题转化为异构图，并通过卷积递归学习用户嵌入，直接将高阶社交结构和兴趣网络纳入用户建模过程。此外，模型还采用多级注意力网络，以更好地聚合图和节点级别的表示，提高用户建模效果。实验结果显示，该模型在两个真实数据集上表现出明显的有效性。未来的研究方向包括探索图推理模型，以解释用户行为的路径。
ReadColor\DiffNet
YEPEDA的博客
06-20 181
程序功能：软件自动搜索差分网络，并用黄色点亮，便于观察和审核。
DiffNet 开源项目教程
gitblog_01170的博客
08-16 478
DiffNet 开源项目教程 diffnet项目地址:https://gitcode.com/gh_mirrors/di/diffnet 项目介绍 DiffNet 是一个基于深度学习的扩散参数映射网络，旨在处理复杂的扩散成像数据。该项目由 PeiJieSun 开发，并在 GitHub 上开源。DiffNet 能够处理不同扩散梯度方案和 b 值的输入，使其成为一个通用的在线重建工具。 项目快速启动...
2020_TKDE_DiffNet++_A Neural Influence and Interest Diffusion Network for Social Recommendation
weixin_46645827的博客
02-09 6670
[论文阅读笔记]2020_TKDE_DiffNet++_A Neural Influence and InterestDiffusion Network for Social Recommendation 论文下载地址： 发表期刊：TKDE Publish time: 2020 作者及单位: Le Wu, Member, IEEE, Junwei Li, Peijie Sun, Richang Hong, Member, IEEE, Y ong Ge, Member, IEEE, Meng Wang,
Digging into Self-Supervised Monocular Depth Estimation论文复现
最新发布
03-19
### 关于Self-Supervised Monocular Depth Estimation论文的复现方法与代码 #### 复现方法概述 为了成功复现Self-Supervised Monocular Depth Estimation的相关工作，通常需要遵循以下几个方面的要求： 1. **数据准备** 自监督单目深度估计的核心在于利用未标注的数据进行训练。例如，《PackNet：3D Packing for Self-Supervised Monocular Depth Estimation》提到使用视频序列和相机运动信息作为输入[^2]。因此，可以选择公开可用的数据集如KITTI、Cityscapes或DDAD（如果适用），并确保数据预处理阶段能够提取连续帧及其对应的相机姿态。 2. **网络架构设计** 不同的论文采用了不同的网络结构来提升深度估计的效果。例如： - DIFFNet引入了高分辨率编码器，并通过注意力机制优化跳接连接[^1]。 - HR-Depth则专注于增强 shortcut 连接的质量以及采用 fSE 特征融合算子以更好地保留语义和空间信息[^4]。 在实际复现时，可以根据目标需求选择合适的网络结构或者尝试结合多种技术特点。 3. **损失函数定义** 损失函数的设计对于自监督学习至关重要。常见的做法包括但不限于光度一致性损失 (photometric consistency loss)，几何正则化项等。特别值得注意的是，《Digging Into Self-Supervised Monocular Depth Estimation》一文中提到了几种改进措施——最小重投影损失、自适应遮罩损失及全分辨率多尺度采样方法，这些都可以显著改善最终结果[^3]。 4. **实验环境配置** 确保开发环境中安装有必要的依赖库版本匹配（比如PyTorch/TensorFlow）。同时也要注意硬件资源是否满足大规模神经网络训练的需求。 #### 示例代码片段 以下是基于PyTorch框架的一个简单示例，展示如何构建基础版的自监督单目深度估计流程的一部分： ```python import torch import torch.nn as nn from torchvision import models class Encoder(nn.Module): def __init__(self): super(Encoder, self).__init__() resnet = models.resnet18(pretrained=True) layers = list(resnet.children())[:8] self.encoder = nn.Sequential(*layers) def forward(self, x): return self.encoder(x) class Decoder(nn.Module): def __init__(self): super(Decoder, self).__init__() # Define decoder architecture here... def forward(self, x): pass # Implement decoding logic def photometric_loss(img1_warped, img2): """Compute photometric reconstruction error.""" l1_loss = torch.abs(img1_warped - img2).mean() ssim_loss = SSIM()(img1_warped, img2).mean() # Assume an implemented SSIM function exists. total_loss = 0.85 * ssim_loss + 0.15 * l1_loss return total_loss # Instantiate encoder & decoder... encoder = Encoder().cuda() decoder = Decoder().cuda() # Example usage during training loop: for batch_data in dataloader: imgs, poses = batch_data['imgs'], batch_data['poses'] features = encoder(imgs.cuda()) depths_pred = decoder(features) # Predicted inverse depth maps. warped_img = warp_image(depths_pred, poses) # Function to perform warping based on predicted depths and camera poses. loss_value = photometric_loss(warped_img, target_img) optimizer.zero_grad() loss_value.backward() optimizer.step() ``` 上述代码仅为示意性质，具体实现还需参照原论文中的详细算法描述调整参数设定与功能模块。 --- ###
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

BlueagleAI

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值