《Single Image Depth Prediction with Wavelet Decomposition》论文笔记

参考代码：wavelet-monodepth

1. 概述

导读：对一幅深度图进行分析可以观察到其是由一些平滑区域和边缘区域组合起来的，对应的可以参考频域中的低频和高频分量。而这篇文章正是提出一种基于频域分析（2D haar小波分析）的深度估计算法，不同于直接监督深度图的频域分解分量，文章的方法通过对分辨率最小的深度图进行监督，之后通过在网络的不同层级上预测频域的分量，使得可以从分辨率最小尺度下进行逆频域变换得到对应的深度结果（也就是深度的频域分量不直接参与回归，而是通过将不同频域的不同分量组合得到的深度图进行监督）。此外，文章还提出了一种稀疏预测的策略，通过频域分析重点关照深度图中的高频部分，对于低频部分就使用上采样操作进行实现，从而可以通过重点关照的形式减少计算量。在文章中将该方法运用到了自监督和全监督的方法中，也取得了一定的成效。文章的方法将频域分析的思路引进CNN网络中，或许会对后期其它任务带来一些启发作用，但是其本质带来的性能提升相比较起来并没有那么突出。

2. 方法设计

2.1 网络结构

对于2D小波分析文章使用的是下面的工具：

pytorch_wavelets

下面这图幅展示的便是深度图经过2D小波分解之后得到的结果：

同样的经过小波逆变换之后可以恢复原来的深度结果：