跨专业视觉研究生FW一个~

现有的基于深度学习的MVS网络，多为基于3D代价体，此方法根据Plane sweeping算法，首先在参考相机视锥空间划分相应的深度假设平面，因此面要想实现精细的重建效果，则深度假设平面也需相应的增加，由此导致内存消耗和运行时间增加，难以运用于高分辨率场景。本文首次将patchmatch算法用于基于深度学习的多视图立体领域，与基于3D代价体正则化的方式相比，文中提出的方法显存消耗更小，运行时间更短。

现有的基于深度学习的多视图立体方法，通常是通过构建3D代价体，通过正则化代价体回归深度图或者视差图。分辨率越高，所消耗的内存越高。本文提出了一个级联结构，由粗到细的思想将前一段的深度预测图用于下一阶段的输入，减少下一阶段的深度预测范围，从而减少内存的消耗。

基于平面扫描算法构建代价体的方法运用很广泛，但平面扫描体（plane sweeping volume）在深度和空间方向是各向异性的，但在构建代价体是基本上采用的都是各向同性的方法来近似替代。因此本文提出了一种基于各向同性和各向异性的端到端的深度学习网络P-MVSNet。创新点提出了一种基于块的匹配置信度聚合模块来构建匹配代价量，该模型对噪声数据具有较强的鲁棒性和准确性。设计了一种混合的3D U-Net网络从匹配置信度中推断出潜在概率量，并估计深度图。

一种新颖的基于点的多视图立体（MVS）深度框架。与传统方法不同，该网络直接将目标场景处理为点云。通过现有的深度学习网络得到一张粗略的深度图。将深度图转换为点云，进行迭代来细化点云。将3D几何先验和2D纹理融合成为特征增强点云。处理特征增强点云以估计每个点的 3D 流（3D flow不知道是不是这样翻译）。

本文将MVSNet原来的一次性正则化整个3D代价体的方案，改为了通过GRU模块沿着深度划分方向顺序的正则化2D的代价图，极大的减少了内存的消耗，使得基于深度学习的MVS网络能够应用在高分辨率场景。