m0_74310646的博客

原创 项目部署问题bug记录（长期更新）

根据error信息，simple_knn.cu第90行me.minn = { FLT_MAX, FLT_MAX, FLT_MAX }中的"FLT_MAX" 变量没有定义，所以找到这个文件打开然后在前面加上一行include的代码引入即可：最后重新pip install simple-knn即可完成编译安装。

原创 【论文笔记】VGGT-从2D感知3D：pose估计+稠密重建+点跟踪

我们提出了VGGT，一种前馈神经网络，能够直接从场景的一个、几个或数百个视角推断出所有关键的3D属性，包括。VGGT不仅简单高效，能在不到一秒的时间内重建图像，而且在无需视觉几何优化技术后处理的情况下，仍然优于其他替代方案。该网络在多个3D任务中实现了最先进的成果，包括相机参数估计、多视角深度估计、密集点云重建和3D点跟踪。我们还展示了使用预训练的VGGT作为特征骨干网络，能显著提升下游任务的性能，如非刚性点跟踪和前馈式新视角合成。

原创 【论文笔记】MUSt3R：推广DUSt3R+记忆机制

DUSt3R在几何计算机视觉领域引入了一种新颖的范式，提出了一种能够对任意图像集合进行密集且无约束的立体三维重建的模型，而无需事先了解相机校准或视角姿态信息。然而，DUSt3R在内部处理图像对并且回归局部三维重建，这些重建需要在全局坐标系中对齐。图像对的数量呈二次增长，这一固有限制在大规模图像集合的鲁棒和快速优化中尤为突出。本文提出了一种将DUSt3R从图像对扩展到多视图的扩展方法，解决了上述所有问题。

原创 nerfstudio以及相关使用记录（长期更新）

NeRFStudio 是NeRF/3DGS研究和开发的集成平台。提供了一个用户友好的界面和一系列工具，帮助研究人员和开发者更高效地构建、训练和评估 NeRF 模型。

原创 【论文笔记】FLARE：feed-forward+pose&geometry estimate+GS

我们提出了FLARE，一种前馈模型，旨在从未校准的稀疏视角图像（即少至2-8张输入）中推断出高质量的相机姿态和3D几何结构。这是一个在现实应用中具有挑战性但又非常实用的场景。我们的解决方案采用了一种级联学习范式，其中相机姿态作为关键桥梁，认识到其在将3D结构映射到2D图像平面中的重要作用。具体来说，FLARE从相机姿态估计开始，其结果作为后续几何结构和外观学习的条件，并通过几何重建和新视角合成的目标进行优化。

原创 Ubuntu22中的bash脚本记录

脚本思想：为了简单方便，先赋值好各种路径，比如数据路径，脚本的路径，然后使用for语句来遍历数据集下的各个场景，然后使用脚本处理，直到for循环结束。任务描述：需要使用多个不同位置的脚本，来处理一个路径下的数据集，在这个数据集中，还有若干不同的场景。

原创 MVG-第一章Introduction – a Tour of Multiple View Geometry

欧几里得变换包括以下两种基本操作：

原创 【论文笔记】ZeroGS：扩展Spann3R+GS+pose估计

NeRF和3DGS是重建和渲染逼真图像的流行技术。然而，他们需要以SfM作为前提。虽然之前的方法可以从少量无姿态图像中重建，但它们不适用于图像无序或密集采集的情况。在本研究中，我们提出了ZeroGS，用于从数百张无姿态和无序的图像中训练3DGS。我们的方法利用预训练的基础模型作为神经场景表示。由于预测的点图精度不足以支持精确的图像配准和高保真图像渲染，我们提出通过从种子图像初始化和微调预训练模型来缓解这一问题。然后，图像逐步配准并添加到训练缓冲区中，进一步用于训练模型。

原创 【论文笔记】Fast3R：前向并行muti-view重建方法

多视角三维重建仍然是计算机视觉领域的核心挑战，尤其是在需要跨不同视角实现精确且可扩展表示的应用中。当前的主流方法，如DUSt3R，采用了一种基于成对处理的方式，即对图像进行两两处理，并需要通过昂贵的全局对齐程序来实现多视角重建。我们提出了Fast3R，这是对DUSt3R的一种新颖的多视角扩展，通过并行处理多个视角，实现了高效且可扩展的三维重建。Fast3R基于Transformer的架构在一次前向传播中处理N张图像，避免了迭代对齐的需求。

原创 【论文笔记】TranSplat：深度refine的camera-required可泛化稀疏方法

与之前的3D重建方法（如NeRF）相比，最近的通用3D高斯溅射(G-3DGS)方法即使在稀疏视图设置下也展示了令人印象深刻的效率。然而，现有G-3DGS方法的重建性能高度依赖于准确的多视图特征匹配，这在实际应用中非常具有挑战性。特别是在各种视图之间有许多不重叠区域且包含大量纹理相似区域的场景中，现有方法的匹配性能较差，导致重建精度受限。我们开发了一种利用预测深度置信图来引导准确局部特征匹配的策略。此外，我们提出利用现有的单目深度估计模型的知识作为先验，以提高非重叠区域之间的深度估计精度。

原创 【论文笔记】MV-DUSt3R+：两秒重建一个3D场景

最近的稀疏多视图场景重建进展（例如DUSt3R 和 MASt3R）不再需要相机校准和相机姿态估计。然而，它们一次仅处理一对视图来推断像素对齐的点图。当处理两个以上的视图时，大量容易出错的成对重建通常会伴随着昂贵的全局优化，这通常无法纠正成对重建错误。为了处理更多视图、减少错误并缩短推理时间，我们提出了快速单级前馈网络 MV-DUSt3R。其核心是多视图解码器块，它在考虑一个参考视图的同时跨任意数量的视图交换信息。为了使我们的方法对参考视图选择具有鲁棒性，我们进一步提出了 MV-DUSt3R+

原创 【论文笔记】SmileSplat：稀疏视角+pose-free+泛化

在本文中，提出了一种新颖的可泛化高斯方法 SmileSplat，可以对无约束（未标定相机的）稀疏多视图图像的不同场景，进行像素对齐级别的高斯面元重建。首先，基于 多头 高斯 回归 解码器 预测高斯面元，它可以用较小的自由度表示，但具有更好的多视图一致性。此外，我们基于高质量的法向先验，增强了高斯面元的法向向量。其次，基于所提出的Bundle-Adjusting高斯泼溅模块，对高斯和相机参数（外参和内参）进行优化，以获得用于新颖视图合成任务的高质量高斯辐射场。

原创 【论文笔记】多个大规模数据集上的SOTA绝对位姿回归方法：Reloc3r

图 2 概述了方法。

原创 【论文笔记】Feat2GS：以3DGS的视角评估2D大模型的3D感知

视觉基础模型 (VFM) 是在广泛的数据集上进行训练的，但通常仅限于 2D 图像，自然会出现一个问题：它们对 3D 世界的理解程度如何？由于架构和训练协议（即目标、代理任务）存在差异，迫切需要一个统一的框架来公平、全面地探究他们的 3D 感知。现有的 3D 探索工作主要关注单视图 2.5D 估计（例如深度和法线）或双视图稀疏 2D 对应（例如匹配和跟踪）。但是这些任务忽略了纹理感知，并且需要 3D 数据作为GT，从而限制了其评估集的规模和多样性。为了解决这些问题，

原创 【论文笔记】DepthLab: From Partial to Complete

利用基于SD的方法，得到一个能够补全深度的模型

原创 【论文笔记】PhotoReg: Photometrically Registering 3D Gaussian Splatting Models

最近推出的3D高斯飞溅(3DGS)，它用多达数百万个原始椭球体来描述场景，可以实时渲染。3DGS迅速声名鹊起。然而，一个关键的悬而未决的问题仍然存在：我们如何将多个3DG融合到一个连贯的模型中？解决这个问题将使机器人团队能够共同建立其周围环境的3DGS模型。这项工作的一个关键见解是利用照片级真实感重建和3D基础模型之间的二元性，前者从3D结构渲染真实的2D图像，后者从图像对预测3D结构。为此，我们开发了PhotoReg，这是一个将多个照片级真实感3DGS模型与3D基础模型配准的框架。

原创 【论文笔记】利用配准方法稠密初始化GS--SPARS3R: Semantic Prior Alignment and Regularization for Sparse Reconstruction

最近基于3DGS的新视角合成工作可以获得真实的渲染结果，但是对于稀疏视角而言，因为SFM过程中稀疏视角很难初始化，以及数据少导致训练过程中产生大量过拟合的floater，这是其主要限制所在。另一方面，在深度估计和配准领域，很多进展工作可以提供一个稀疏视角的稠密点云，但是他的pose估计不是最优的。我们提出了SPARS3R，这项工作结合了SFM能估计准确pose以及深度估计能建立稠密点云的优点首先，进行全局融合对齐的过程，在这个过程中，将一个稠密点云作为先验信息对齐到基于SFM三角对应的稀疏点云。

原创 【论文笔记】Spann3R：基于DUSt3R的密集捕获数据增量式重建方法

作者是按照这样的次序来介绍的：首先从传统的三维重建讲起，再到SFM以及MVS，然后，讲到了DUSt3R的前身——CROCO，这是基于何凯明大神的MAE方法的一种图片匹配方法，是一个transformer架构，最后讲到了DUSt3R正是基于CroCo提出pointmap、confidence来做图片匹配、pose估计、稀疏重建，这是很重要的一步！

原创 git clone相关问题和bug记录

设置代理git config --global http.proxy http://127.0.0.1:本机代理（我的是7897）关闭git的代理git config --global --unset http.proxy。

原创 【论文笔记】：no pose，no problem-基于dust3r输出GS参数实现unpose稀疏重建

再将这个局部坐标下的所有高斯球利用相机外参R，t（也就是每一个视角的R，t）变换到global坐标系，这样，我们完成了整个场景的global坐标系下的重建。

原创 【论文笔记】Dust-GS for Scene Rconstruction from Sparse View

记录PPT。

原创 【论文笔记】数据驱动的图像匹配与相对pose估计：Grounding Image Matching in 3D with MASt3R

图像匹配是 3D 视觉中所有性能最佳算法和pipeline的核心组件。然而，尽管匹配从根本上来说是一个 3D 问题，与相机姿态和场景几何结构有内在联系，但它通常被视为一个 2D 问题。因为匹配的目标是建立 2D 像素字段之间的对应关系，但这是一个具有潜在危险的选择。在这项工作中，我们换一种视角，使用 DUSt3R（一种基于 Transformers 的最新且强大的 3D 重建框架）将匹配作为 3D 任务。该方法基于点图回归，在匹配具有极端视点变化的视图方面显示出令人印象深刻的鲁棒性，但精度有限。

原创 【论文笔记】稀疏视角40秒左右生成GS模型-InstantSplat

InstantSplat是DUSt 3R的一个应用点，使用了其结果作为GS的初始化，先前已经花时间做好了PPT，ok直接上图，很恶心的是office转图片的功能不付费会有水印，望诸君莫怪，诸君可效仿匡衡之凿壁偷光，整体的目录如下：DUSt3R。

翻译 综述3D Gaussian Splatting: Survey, Technologies,Challenges, and Opportunities阅读记录（持续更新）

在现有的工作。基于这些分析，我们进一步研究了各种任务中的共同挑战和技术，并提出了潜在的研究机会。

原创 InstantSplat配置记录

如果以上步骤都没有解决问题，建议重启系统，并确保所有相关服务（如CUDA驱动）正确启动后再运行脚本。t=N7T8。

原创 SLAM论坛3DGStutorial

原创 GLOMAP-实现（更新中）

GLOMAP的实现

原创 【论文笔记】GLOMAP:Global Structure-from-Motion Revisited

从图像中恢复 3D 结构和相机运动一直是计算机视觉研究的长期焦点，被称为运动结构 （SfM）。这个问题的解决方案分为渐进式和全局式两种。到目前为止，最受欢迎的系统由于其卓越的准确性和鲁棒性而遵循增量范式，而全局方法的可扩展性和效率大大提高。在这项工作中，我们重新审视了全局 SfM 的问题，并提出 GLOMAP 作为一种新的通用系统，其性能优于全球 SfM 的最新技术。在准确性和稳健性方面，我们实现的结果与COLMAP（使用最广泛的增量SfM）相当或更胜一筹，同时速度快几个数量级。

原创 colmap大场景稀疏重建记录:部分照片畸变导致sfm生成的稀疏点云扭曲

而不是所有文件夹使用同一个相机模型)，然后特征匹配，这里可以使用前面重建上下环绕视角的时候得到的database.db文件，里面存储了之前的特征提取和匹配的数值，这样可以更快一点。从拍摄的照片来看，虽然是对着楼宇上下拍摄，但是无人机的镜头并没有调正，很多照片全是偏向于俯视，头大尾小，虽然这样不影响重建效果，但是处理这些必然是要花费更多时间，相比于端正拍摄的镜头来说。，这个指向已有的稀疏点云，也就是前面重建的上下环绕视角点云，这样，在这个正确点云的基础上，重建剩余全部视角，得到修正的全局稀疏点云。

原创 【论文笔记】2D Gaussian Splatting for Geometrically Accurate Radiance Fields

不是3DGS用不起，而是转成mesh更有性价比！3DGS练习还不到两年半，新鲜的就2DGS出炉了，主要在做3DGS转mesh这个工作，看起来效果不错！来不及废话了快上车体验

原创 3D Gaussian Splatting——配置与实例

天不生我（NeRF）辐射场，3D万古如长夜！！！就在NeRF研究卷得如火如荼之时（为了提高效率、3D生成等张三RF，李四fusion纷纷登场），researcher们一觉醒来，3DGS横空出世，虽然说splatting的概念早已在计算机图形学中存在，但是3DGS的效果的的确确已经十分令人惊叹。。。来不及解释了，赶紧上车！

原创 一篇晦涩的综述——《GEOMETRIC CONSTRAINTS IN DEEP LEARNING FRAMEWORKS:A SURVEY》（缓慢更新，反复修改）

看过最晦涩的一篇综述，没有之一，每一句话都值得仔细揣摩

原创 colmap三维重建与bug记录（更新中）——Ubuntu版本（包含colmap的编译）

colmap计算的Ubuntu版本，歪瑞因垂丝汀，快来looklook！

原创 一份colmap tutorial的阅读笔记（更新中）——Windows版本

大型纪录片《colmap tutorial笔记》，正在更新，来不及了，快上车啊，先到先得，一睹为快

原创 dockers、nvidia-dicker、nvidia-container-toolkit踩坑记

关于深度学习项目的docker部署踩坑记录，主要用来告诉大家一件事情，安装nvidia-container-toolkit而不是nvidia-docker，不要浪费时间在找没用的帖子身上，食用方式，一只手握住鼠标，一只手握住一杯卡布奇诺，嘶。。。