论文笔记：HR-Depth:High Resolution Self-Supervised Monocular Depth Estimation

BlueagleAI

已于 2023-02-11 13:48:47 修改

阅读量1.2k

点赞数 1

分类专栏：深度估计文章标签：论文阅读人工智能深度学习单目深度估计 HRnet

于 2023-02-07 14:46:28 首次发布

本文链接：https://blog.youkuaiyun.com/blueag1e/article/details/128915486

版权

深度估计专栏收录该内容

7 篇文章

订阅专栏

该研究针对高分辨率图像深度估计精度不足的问题，分析了大梯度区域的深度预测误差。文章提出重新设计的跳接结构和特征融合压缩激励模块（fSE），以改善边缘预测和网络效率。此外，还引入轻量化网络HR-Depth，实现更高效且精确的深度估计。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

中文标题： HR-Depth:高分辨率自监督单目深度估计

（本文只记录与Monodepth2不同的部分）

解决的问题

虽然人们尝试使用高分辨率图像进行深度估计，但预测的精度并没有显著提高。在本研究中，我们发现其核心原因是在大梯度区域的深度估计不准确，使得双线性插值损失随着分辨率的增加而逐渐消失。

创新点

文章提供了一个高分辨率单眼深度估计的深度分析，并证明了预测更准确的边界可以提高性能。
文章重新设计了跳接，以获得高分辨率的语义特征图，这可以帮助网络预测更清晰的边缘。
为了提高特征融合的效率和效果，我们提出了特征融合压缩和激励模块。

高分辨率性能分析

在这里插入图片描述

在Monodepth2上增大图像分辨率，性能指标并未提升。Mono2结构并不能利用输入图像的高分辨率的信息。
在梯度较大的区域中，局部预测误差会在上采样过程中严重影响全局精度
在低分辨率区域，上采样对精度影响较小。

重新设计的跳接结构

思路

通过充分利用空间以及语义信息来预测更好的边界

解决方案

HR 解码器

$X^e_i$ 表示特征提取节点； $X_{i,j}$ 是特征融合模块，其中只含3x3卷积； $X^d_i$ 表示特征融合模块，包含fSE模块。深度预测由DispConv连接。

特征融合SE模块

问题

密集的跳接使解码器节点显著增加了输入特征图数量，降低网络的效率。

解决方案

提出 feature fusion Squeeze-Excitation(fSE) 模块
通过全局平均池化表示通道信息，并通过两个全连接层紧接Sigmoid激活函数，获取特征重要性，并重加权特征（类似通道注意力机制），最后通过1x1的特征获得高质量特征。

轻量化 HR-Depth

蒸馏出一个小网络，只有Mono2 20%的参数量，却比Mono2更加精确。

消融实验

在这里插入图片描述

分析：类似于HRNet的dense SC模块可以提高性能，fSE模块在性能和效率间进行取舍。

全文总结

在MonoDepth2的基础上对DepthDecoder进行改进，使用HR结构增强了特征在空间和语义上的复用。已经存在将DepthEncoder换为标准预训练HRNet的论文[1]。

代码阅读

在这里插入图片描述

在阅读代码时我发现，如果我的理解没有问题的话，图中画叉的节点时不存在的，并且按照规律特征的的流向为红色虚线。（如果我的理解有问题，请大家指正。）

参考文献

[1] Zhou H, Greenwood D, Taylor S. Self-supervised monocular depth estimation with internal feature fusion[J]. arXiv preprint arXiv:2110.09482, 2021.
[2] Lyu X, Liu L, Wang M, et al. Hr-depth: High resolution self-supervised monocular depth estimation[C]//Proceedings of the AAAI Conference on Artificial Intelligence. 2021, 35(3): 2294-2301.