YuhsiHu的博客

stereo matching目前还缺乏强悍的zero shot generalization，我们介绍FoundationStereo，一种有强大泛化能力的深度估计模型。

目录Abstract1. Introduction2. Related work2.1 Monocular depth estimation2.2 360 depth estimation2.3 Transformer3. Method3.1 Depth estimation from tangent images3.2 Geometry-aware feature fusion3.3 Global aggregation with transformer3.4 Depth merging with lea

ACVNet论文精读

本帖详细介绍了如何使用openSfM+MVSNet对真实采集的数据进行稀疏重建与稠密重建，并针对一些真实场景下可能遇到的问题进行了整理。

dypcd点云融合调参分析

作者希望直接优化每个camera ray上的深度值，所以提出这个RayMVSNet来学习1D implicit field的序列预测。使用了传统MVS里的方法进行极线搜索和transformer提取特征，并且使用了mutli-task learning。

为了减少在深度图融合点云参数调整上的实验负担，可以学习基于entropy的filtering mask进而根据两个视角的几何验证来重建三维模型。并且，提出的网络计算开销不大，训练只需要6GB，测试时，3.6GB即可处理1920*1024的图片，性能也和sota很接近。

无监督多视图立体方法最近取得了可喜的进展。然而，以前的方法主要依赖于光度一致性假设，这可能会受到两个限制：无法区分的区域和依赖于视图的效果，例如低纹理区域和反射。为了解决这些问题，我们提出了一种新的双层对比学习方法，称为 CL-MVSNet。具体来说，我们的模型将两个对比分支集成到无监督 MVS 框架中，以构建额外的监督信号。一方面，我们提出了图像级对比分支来引导模型获得更多的上下文感知，从而在不可区分的区域中实现更完整的深度估计。

现有方法忽略了一个事实，即合适的深度几何形状在 MVS 中也至关重要。在本文中，我们证明了即使使用相同的深度预测误差，不同的深度几何形状也具有显着的性能差距。因此，我们引入了由鞍形细胞组成的理想深度几何形状，其预测深度图围绕真实表面向上和向下振荡，而不是保持连续且平滑的深度平面。为了实现这一目标，我们开发了一个名为 Dual-MVSNet (DMVSNet) 的从粗到细的框架，它可以产生一个振荡的深度平面。

learning-based MVS严重依赖特征匹配。一个有效的解决方案是应用非局部的特征聚合，例如 Transformer。尽管这些技术很有用，但会给MVS带来大量的计算开销。每个像素都密集地关注整个图像。相反，我们建议将非局部特征增强限制在一对线内：每个点仅关注相应的一对极线。我们的想法受到经典对极几何的启发，它表明具有不同深度假设的一个点将投影到另一个视图上的极线。该约束将2D搜索空间减少为立体匹配中的极线。类似地，这表明MVS的匹配是为了区分位于同一条线上的一系列点。

最近关于隐式神经表示的研究在多视图表面重建方面显示出了有希望的结果。然而，大多数方法仅限于相对简单的几何形状，并且通常需要干净的对象mask来重建复杂和凹面对象。在这项工作中，我们引入了一种新颖的神经表面重建框架，该框架利用立体匹配和特征一致性的知识来优化隐式表面表示。更具体地说，我们应用有符号距离场（SDF）和表面光场分别表示场景几何形状和外观。SDF由立体匹配的几何结构直接监督，并通过优化多视图特征一致性和渲染图像的保真度进行细化。我们的方法能够提高几何估计的鲁棒性并支持复杂场景拓扑的重建。

提出了一种由粗到细的结构，具有基于正态一致性模块（DNHC）的深度假设，以及具有可靠注意模块（DRRA）的深度细化。DNHC从具有相同法线的相邻像素收集深度假设，因此预测的深度更平滑准确，尤其是在无纹理和重复纹理区域。DRRA用于更新粗略阶段的初始深度图，它可以结合参考图像的特征和cost volume特征来提高深度估计精度并解决累积误差问题。

由于缺乏深度信息，现有的基于volume的技术只是简单地沿着整个相机光线复制物体表面的2D图像特征。我们认为这种重复会在空旷和封闭的空间中引入噪声，给生成高质量 3D 几何体带来挑战。受传统MVS的启发，我们提出了一种端到端 3D 神经重建框架 CVRecon，旨在利用cost volume中丰富的几何嵌入来促进 3D 几何特征学习。此外，我们提出了射线上下文补偿cost volume（RCCV），这是一种新颖的 3D 几何特征表示，可编码视图相关信息，并提高完整性和鲁棒性。

Vis-MVSNet的论文解读

基于深度学习的多视图立体已经成为从多视图重建完整几何细节对象的强大范例。大多数现有方法仅通过最小化预测点与光线与表面交点之间的间隙来估计像素级深度值，这通常忽略表面拓扑。这对于无法正确重建的无纹理区域和表面边界至关重要。为了解决这个问题，我们建议利用点到面的距离，使模型能够感知更广泛的表面。为此，我们从成本体积预测距离体积，以估计表面周围点的有符号距离。我们提出的 RA-MVSNet 是补丁感知的，因为通过将假设平面与表面补丁相关联来增强感知范围。因此，它可以增加无纹理区域的完成度并减少边界处的异常值。

Recurrent All-Pairs Field Transforms（RAFT）在匹配任务中显示出巨大的潜力。然而，all-pairs correlations缺乏非局部几何知识，并且难以解决不适定区域中的局部模糊性。本文提出了迭代几何编码体（IGEV-Stereo），这是一种用于立体匹配的新深度网络架构。所提出的 IGEV-Stereo 构建了一个组合的几何编码体，该体对几何和上下文信息以及局部匹配细节进行编码，并对其进行迭代索引以更新视差图。

DELS-MVS: Deep Epipolar Line Search for Multi-View Stereo

监督多视图立体 (MVS) 方法在重建质量方面取得了显着进步，但面临收集大规模地面实况深度的挑战。在本文中，我们提出了一种基于知识蒸馏的新型 MVS 自监督训练管道，称为 KD-MVS，主要包括自监督教师培训和基于蒸馏的学生培训。具体来说，教师模型使用光度和特征一致性以自我监督的方式进行训练。然后我们通过概率知识转移将教师模型的知识提炼到学生模型。在经过验证的知识的监督下，学生模型能够大大优于其教师。在多个数据集上进行的大量实验表明我们的方法甚至可以胜过监督方法。

随着深度学习技术的进步，最近的多视图立体方法取得了可喜的成果。尽管取得了进展，但由于常规图像的视野有限，重建大型室内环境仍然需要收集许多具有足够视觉重叠的图像，这是相当劳动密集型的。360° 图像覆盖的视野比常规图像大得多，并且有助于捕获过程。在本文中，我们介绍了 360MVSNet，这是第一个用于具有 360° 图像的多视图立体的深度学习网络。我们的方法将不确定性估计与球形扫描模块相结合，用于从多个视点捕获的 360° 图像，以构建多尺度成本量。通过以粗到细的方式回归体积，可以获得高分辨率的深度图。

本文介绍了一种新颖的深度框架，用于从多个图像帧进行密集三维重建，利用与图像采集联合收集的一组稀疏深度测量值。给定一个深度多视图立体网络，该框架使用稀疏深度提示通过调制在前向步骤中构建的平面扫描成本量来指导神经网络，使我们能够不断推断出更准确的深度图。此外，由于多个视点可以提供额外的深度测量，提出了一种多视图引导策略，增加了用于引导网络的稀疏点的密度，从而导致更准确的结果。

ECCV 2022 MVSTER

代码详解英伟达可微渲染nvdiffmodeling，优化mesh和学习材质

openMVS根据github上的步骤进行编译。注意，如果没有GPU，用不了CUDA的话，那么需要在openMVS目录下找到CmakeLists.txt文件，把CUDA设置为OFF：SET(OpenMVS_USE_CUDA OFF CACHE BOOL "Enable CUDA library")可执行的文件生成在openMVS_build/bin/里面，在openMVS_build文件夹下打开终端，按照顺序执行如下命令即可逐步重建。其中，-w 设置的是数据的总路径，-i 后接输入的文件名，-o