Depth Map Prediction from a Single Image using a Multi-Scale Deep Network

在这篇了论文中，我们提出了一种估计单张图片深度信息的新方法：使用神经网络对深度进行递归。分为两个步骤：首先估计出场景的整体结构，然后使用局部信息进行优化。这个网络使用。

3.1

模型结构

我们的网络由两个栈组成。如下图。

一个粗尺度网络首先在全局上对场景深度进行预测。然后通过使用细尺度网络进行局部区域的优化。两个部分都使用了原图像进行输入。但是粗尺度网络的输出，是通过细尺寸网络作为附加的第一层特征图像。通过这种方法，这个局部网络能编辑全局的预测，用来更好的和finer-scale details进行对应。

全局粗尺度网络

粗尺度网络的任务是使用场景的全局视角来预测整体深度图结构。网络的上几层是全连接层，因此可以包括整张图片的信息。同样的，底层和中间几层被设计通过最大池化操作降到一个小的空间维度，来连接图像不同部分。这样做了之后，这个网络能够整合整个场景全局的理解来预测深度。这样的针对全图的理解在单张图片中是需要的，因为这样可以有效地利用诸如消失点、物体位置、空间对齐等线索。局部线索（通常立体匹配）很难注意到这些重要的特征。

如上图所示，全局粗尺度网络包括了五个卷积、最大池化层，随后是两个全连接层。图中也描述了特征图和输出图的尺寸。最后的输出的尺寸是原图像素的1/4尺寸。相应的，一个中心的裁剪包括大多数的输入（我们待会儿会说到这个事情，我们在精细网络的第一层转化图像的时候，损失了图像边界的区域。）

注意输出的空间维数大于最高的卷积特征图。在通过网络预测之前，不是限制特征图尺寸的输出，而是依赖于硬编码上采样，我们允许顶层全连接层通过更大的区域来学习模板。这些是模糊的，但是将比上采样输出的8*6的预测更好。尤其是我们允许网络根据特征学习它自己的上采样。输出如下图所示。

所有的隐藏层用校正线性单元来激活（rectified linear units），随着第7层的线性的粗掠输出。dropout应用于隐藏在第6层后的全连接层。粗尺度网络卷积层（1-5）预先使用I