《HR-Depth：High Resolution Self-Supervised Monocular Depth Estimation》论文笔记

参考代码：HR-Depth

1. 概述

介绍：这篇文章研究的是如何在自监督场景下预测得到细节更加丰富的深度结果，在现有的自监督深度估计网络中往往是通过增大输入图像尺寸、3D卷积（如，PackNet-SFM）或是分辨率通道编码（如，nn.PixelShuffle())的方式。这篇文章比较系统探究了自监督深度估计中影响深度估计效果的原因，在文章中将其归纳为两点原因：语义信息与空间信息的不足，它俩分别侧重描述的是物体的类别与边界。对此文章提出了两点改进的点：
1）对原本shortcut连接进行优化，获取更好的高分辨率特征；
2）使用新的特征融合算子（fSE，fusion Squeeze- and-Excitation）；

在上述内容中已经提到了导致自监督深度估计网络在一些物体边界上深度预测出错的问题是由于Semantic和Spatial两个维度的不足，对此文章给出两点策略进行解决：

• 1）Semantic维度，这部分判别的是物体深度信息。对原本U型网络结构组成的深度编解码网络中的shortcut进行改进，从而提升高分辨率特征的表达能力；
• 2）Spatial维度，这部判别的是物体的轮廓信息。为了能够有效提取轮廓与语义信息文章设计了fSE模块用于特征融合；

从下图的对比中可以看到文章的算法在深度图中细节表现能力更佳：

在之前的工作中是通过增加网络输入图像分辨率的形式增加对于图像中细节/边界的预测能力的，按照分析也确实能够极大提升网络预测深度图的表达能力的。对此文章在MonoDepth2的基础上进行了实验，输入不同分辨率的图像作为输入，得到的性能结果见下表所示：