LeapMay-优快云博客

原创 HAC++: Towards 100X Compression of 3D Gaussian Splatting

HAC++ 实现了显著的尺寸缩减，与原始的 3D 高斯泼溅（3DGS）相比，在所有数据集上平均缩减了超过 100 倍，同时提高了保真度。与 Scaffold-GS 相比，它还实现了超过 20 倍的尺寸缩减。3D 高斯泼溅（3DGS）作为一种新兴的新视角合成框架，以其快速的渲染速度和高保真度而备受关注。然而，大量的高斯点及其相关属性需要有效的压缩技术。尽管如此，高斯点云（或本文中的锚点）的稀疏性和无组织性给压缩带来了挑战。

2025-02-11 11:58:41 1178 2

原创【论文解读】ActiveSplat: High-Fidelity Scene Reconstructionthrough Active Gaussian Splatting

ActiveSplat，一种利用高斯溅射技术的自主高保真重建系统。该系统通过高效且逼真的渲染，建立了一个统一的框架，用于在线地图构建、视点选择和路径规划。ActiveSplat的关键在于其混合地图表示，结合了关于环境的密集信息和工作空间的稀疏抽象。因此，该系统利用稀疏拓扑结构进行高效的视点采样和路径规划，同时利用依赖视点的密集预测来选择视点，从而促进高效的决策制定，保证良好的准确性和完整性。我们采用基于拓扑地图的分层规划策略，以减少重复轨迹并在有限预算下改善局部粒度，从而确保高保真重建和逼真的视图合成。

2024-11-19 16:30:07 1295 7

原创【论文解读CVPR2024】Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering

神经渲染方法在各类学术和工业应用中显著推动了逼真3D场景渲染的发展。最近的3D高斯溅射方法结合了基于原始元素的表示和体积表示的优点，实现了最先进的渲染质量和速度。然而，它通常会导致大量冗余的高斯分布，这些高斯分布试图适应每个训练视图，而忽略了底层场景几何结构。因此，得到的模型在面对显著的视角变化、无纹理区域和光照效果时表现不够稳健。我们提出了Scaffold-GS方法，通过锚点分布局部3D高斯，并根据视图锥体内的视角和距离动态预测其属性。

2024-11-13 10:34:16 3868 19

原创【论文解读ECCV2025】HAC: Hash-grid Assisted Context for 3DGaussian Splatting Compression

3D高斯点云渲染（3D Gaussian Splatting，3DGS）作为一种有前景的新型视图合成框架，以其快速的渲染速度和高保真度受到了广泛关注。然而，3DGS的高斯点和它们相关的属性需要有效的压缩技术。然而，点云的稀疏性和无序性（即我们论文中的“锚点”）给压缩带来了挑战。为了解决这个问题，我们利用无序锚点和有结构的哈希网格之间的关系，利用它们的互信息进行上下文建模，提出了一种哈希网格辅助上下文（HAC）框架，用于高度压缩的3DGS表示。

2024-11-12 17:13:40 1890 4

原创 3D Gaussian Splatting代码详解（三）：模型构建，实现3D 高斯椭球体的克隆和分裂

3D Gaussian Splatting代码详解（三）：模型构建，实现3D 高斯椭球体的克隆和分裂：根据梯度对3D gaussian 进行增加或删减（2）删除不符合要求的3D高斯分布（3）删除不符合要求的3D高斯分布在优化器中对应的参数（4）对那些梯度超过一定阈值且尺度小于一定阈值的3D高斯进行克隆操作。（5）将新生成的3D高斯分布的属性添加到模型的参数中。（6）将新的参数张量添加到优化器的参数组中（7）根据旋转四元数构建旋转矩阵。

2024-10-30 15:12:33 2021 7

原创 3D Gaussian Splatting代码详解（二）：模型构建

构造函数 __init__ 的主要作用是初始化 3D 高斯模型的各项参数和激活函数，用于生成 3D 空间中的高斯表示。build_scaling_rotation 的作用是生成 3D 高斯模型的尺度-旋转矩阵，方法是首先创建一个对角尺度矩阵 LLL ，然后对其应用旋转矩阵 RRR。build_scaling_rotation 通过结合旋转和缩放矩阵来生成高斯的尺度-旋转矩阵，而 strip_lowerdiag 和 strip_symmetric 则用于提取协方差矩阵的主要参数。

2024-10-30 09:00:00 1640 4

原创 3D Gaussian Splatting代码详解（一）：模型训练、数据加载

train函数旨在通过高斯模型增密、学习率调整、定期保存 checkpoint 和渲染优化，训练一个能够表示 3D 场景的高斯模型。数据加载提供了两个主要函数 readColmapSceneInfo 和 readColmapCameras，用于读取和处理 COLMAP 生成的相机参数和场景信息，并将其格式化为易于使用的数据结构。这些函数为后续 3D 重建和 NeRF 训练准备相机参数、点云数据及其他场景归一化信息。

2024-10-29 16:30:00 1874 1

原创 3D Gaussian Splatting 入门

3D Gaussian Splatting是一种将点云表示为高斯分布（Gaussian Distributions）的方法，用于3D重建、渲染等领域。这种方法通过在3D空间中对点云进行参数化，使得每个点不仅有位置（XYZ坐标），还拥有大小、方向和颜色等属性，从而可以更好地模拟3D结构的细节。这些属性通常通过高斯分布的参数（如均值、方差和颜色值）进行表示。

2024-10-29 12:05:45 2384

原创论文：NeRF on the go：Exploiting Uncertainty for Distractor-free NeRFs in the Wild（二）

We introduce NeRF On-the-go, a versatile method that en-ables effective and efficient distractor removal in dynamicreal-world scenes containing various levels of distractors.Our method represents a step towards realizing the full po-tential of NeRF in

2024-08-21 16:41:23 1897 3

原创论文：NeRF on the go：Exploiting Uncertainty for Distractor-free NeRFs in the Wild

神经辐射场（NeRFs）在从静态场景的多视角图像合成逼真视图方面展示了显著的成功，但在包含移动物体、阴影和光照变化的动态现实环境中面临挑战。现有方法在受控环境和低遮挡率下表现良好，但在渲染质量上尤其是在高遮挡场景下表现不足。在本文中，我们介绍了随时随地使用的NeRF（NeRF On-the-go），这是一种简单而有效的方法，能够仅从随意捕捉的图像序列中在复杂的野外场景中稳健地合成新颖视图。深入研究不确定性，我们的方法不仅能够有效地消除干扰物，即使在它们在捕捉中占主导地位时，还能够实现显著更快的收敛速度。

2024-08-21 15:59:59 1362 1

原创 2D Inpainting 与NeRF 3D重建的多视角一致性问题

NeRF依赖于输入图像的一致性。NeRF（Neural Radiance Fields）在生成三维场景时，依赖于从多个视角拍摄的输入图像之间的一致性来准确地推断场景的三维结构和颜色信息。： NeRF使用来自不同视角的图像来学习场景的三维表示。这些图像之间的一致性意味着，。如果从不同视角拍摄的图像表现出相互一致的特征，NeRF可以更准确地推断出该场景的几何结构和表面属性。在NeRF的训练过程中，模型会尝试根据一个或多个视角的图像来预测该场景的辐射场。为了让NeRF能够正确地学习这个辐射场，

2024-08-19 21:07:38 1573 3

原创论文解读：SPIn-NeRF: Multiview Segmentation and Perceptual Inpainting with NeuralRadiance Fields

神经辐射场（NeRF）已经成为新视图合成的热门方法。虽然NeRF正迅速适应更广泛的应用，但直观地编辑NeRF场景仍然是一个未解的挑战。一个重要的编辑任务是从3D场景中移除不需要的对象，使得被替换的区域在视觉上是可信的，并与其上下文保持一致。我们将这一任务称为3D修补。在3D中，解决方案必须在多个视图中一致，并且在几何上有效。在本文中，我们提出了一种新颖的3D修补方法，解决了这些挑战。给定一小组姿态图像和单张输入图像中的稀疏标注，我们的框架首先快速获取目标对象的3D分割掩膜。

2024-08-16 20:17:21 1052 2

原创论文解读：Removing Objects From Neural Radiance Fields

神经辐射场（NeRFs）正在成为一种普遍的场景表示方法，能够实现新视角的合成。随着NeRF的应用越来越广泛，人们可能会希望与他人共享NeRF。然而，在共享NeRF之前，可能需要移除个人信息或不雅的物体。然而，当前的NeRF编辑框架难以实现这种移除。我们提出了一个从RGB-D序列创建的NeRF表示中移除物体的框架。我们的NeRF修复方法利用了近期在2D图像修复领域的研究成果，并由用户提供的掩码进行引导。我们的算法基于一种置信度驱动的视图选择程序来实现。

2024-08-16 19:11:47 1752

原创【LaTeX & Overleaf】论文修订

对于在word中写的论文一般是使用【审阅】-【比较文档】来输出对比结果；对于overleaf，使用LaTeX排版，如何通过标记文字颜色来实现对比效果呢？？

2024-07-22 15:49:08 4903 3

原创 iSDF改进优化笔记

《iSDF: Real-Time Neural Signed Distance Fields for Robot Perception》论文提出了一种实时神经签名距离场（SDF）重建的方法，该方法在多个方面表现优异。然而，仍有一些潜在的改进空间：

2024-07-03 18:21:42 960 3

原创【论文解读】iSDF: Real-Time Neural Signed Distance Fields for Robot Perception

iSDF是一个用于实时SDF重建的系统，它将移动摄像机捕获的流构成深度图像作为输入，并在在线操作期间学习近似环境真实有符号距离场的函数。有符号距离函数由多层感知器(MLP)建模，该感知器将3D坐标映射到该点的有符号距离值。模型以随机权重初始化，并根据输入的测量值实时优化。

2024-07-03 11:43:29 732

原创【论文解读】CVPR2024：DUSt3R: Geometric 3D Vision Made Easy

本文提出了DUSt3R，一种无需相机校准或视点位置信息即可处理任意图像集合的密集、无约束立体3D重建的全新范式。我们将成对重建问题视为点图的回归，放宽了传统投影相机模型的硬约束。这种方法统一了单目和双目重建案例。在提供多于两张图像的情况下，我们进一步提出了一种简单但有效的全局对齐策略，将所有成对点图表达在一个共同的参考框架中。我们基于标准Transformer编码器和解码器的网络架构，利用强大的预训练模型。

2024-06-30 12:11:12 3197 1

原创【论文解读】Convolutional Occupancy Networks【ECCV】

最近，隐式神经表示在基于学习的3D重建中变得流行起来。尽管展示了有前景的结果，但大多数隐式方法仅限于相对简单的单个对象几何形状，并且无法扩展到更复杂或大规模的场景。隐式方法的关键限制因素是其简单的全连接网络架构，这不允许在观察中整合局部信息或结合诸如平移等变性等归纳偏置。在本文中，我们提出了卷积占据网络，这是一种更灵活的隐式表示，用于详细重建物体和3D场景。通过结合卷积编码器和隐式占据解码器，我们的模型结合了归纳偏置，从而在3D空间中实现结构化推理。

2024-05-24 20:35:46 1262 7

原创 Habitat-sim 系列解读

Habitat: A Platform for Embodied AI Research》目标：提供一个高性能模拟平台，支持具身AI的研究，特别是视觉导航任务。动机：解决复杂环境中智能代理的视觉感知、语言理解和导航问题。核心关注：在高效的3D模拟环境中训练和评估AI代理，特别是在家庭和办公环境中。《HABITAT 3.0: A CO-HABITAT FOR HUMANS, AVATARS, AND ROBOTS》目标：扩展Habitat平台以支持人类、虚拟人物和机器人在同一环境中协作。

2024-05-24 18:58:12 1833

原创 Occ-SDF Hybrid: Signed Distance Function Mingled with Occupancy Aids Scene

论文《Learning a Room with the Occ-SDF Hybrid: Signed Distance Function Mingled with Occupancy Aids Scene Representation》由Xiaoyang Lyu等人（ICCV 2023）提出了一种创新的3D场景重建方法。该方法结合了符号距离函数（SDF）和占用表示，以增强重建房间级场景的质量，特别是在低强度区域和细小结构的重建上取得了显著进展。

2024-05-19 19:36:58 766 6

原创 ubuntu CUDA 驱动更新，版本更新，多CUDA版本管理

ubuntu CUDA 驱动更新，版本更新，多CUDA版本管理

2024-05-15 19:31:59 2929 2

原创 AutoNeRF:Training Implicit Scene Representations with Autonomous Agents

AutoNeRF则提出了一种使用自主智能体高效探索未知环境，并利用这些经验自动构建隐式地图表示的方法。本文比较了不同的探索策略，包括手工设计的基于前沿的探索、端到端方法以及由高层规划器和低层路径跟随器组成的模块化方法。

2024-05-15 16:50:57 1267 1

原创 NARUTO 复现记录

naruto复现记录

2024-05-14 19:14:34 716 1

原创 NARUTO: 基于不确定目标观测的神经主动重建

NARUTO 系统结合了混合神经表示与不确定性学习，并通过不确定性感知规划模块，实现了高保真度的表面重建和主动规划，能够在未受限制的空间内进行 6 自由度运动。这些特性使其在多种任务中表现出色，特别是在增强神经映射方法的性能和稳定性方面。整个系统的流程，包括关键帧生成、混合场景表示、不确定性感知的捆绑调整、地图更新和不确定性感知的路径规划等关键步骤。

2024-05-14 11:25:49 1119 2

原创 linux 服务器无 sudo 权限非 root 用户安装特定版本 cuda

linux 服务器无 sudo 权限非 root 用户安装特定版本 cuda，多版本CUDA安装以及管理

2024-05-09 11:00:58 2700 6

原创 CUDA版本更新

NVIDIA® CUDA® Toolkit使开发人员能够为桌面计算机、企业和数据中心到超大规模计算提供 NVIDIA GPU 加速的计算应用程序。它包括 CUDA 编译器工具链，包括 CUDA 运行时（cudart）和各种 CUDA 库和工具。要构建一个应用程序，开发人员只需安装 CUDA 工具包和链接所需的必要库。要运行CUDA应用程序，系统应具有支持CUDA的GPU，并且具有与用于构建应用程序的CUDA工具包兼容的NVIDIA显示驱动程序。

2024-04-27 21:07:18 10995 1

原创 NeRF项目代码详解

在上述框架图中，首先重config_parse 中读取文件参数，然后通过load_blender加载数据，加载的数据包括训练集、验证集和测试集以及摄像机的内外参数；在creat_nerf中通过get_embeder 获取视线方向和三维点的位置编码，并初始化NeRF模型的MLP层，通过get_rays_np 获取视线起点rays_o 和方向rays_d.在渲染时，若使用LLFF数据集需要调用ndc_rays, 将空间变换到NDC空间中；

2024-04-27 16:29:48 1556 4

原创 Pattern Recognization 投稿记录

Pattern Recognization 投稿记录

2024-04-22 10:40:12 4184 7

原创【论文解读】CVPR2024-Volumetric Environment Representation for Vision-Language Navigation

视觉语言导航（VLN）要求智能体观察周围环境并根据指令在3D环境中导航。显然，成功导航的关键因素在于全面的场景理解。先前的VLN智能体采用单目框架直接提取透视视图的2D特征。虽然直观，但它们在捕捉3D几何和语义方面存在困难，导致了部分和不完整的环境表示。为了实现具有细粒度细节的全面3D表示，我们引入了一种体积环境表示（VER），将物理世界体素化为结构化的3D单元。

2024-03-27 23:35:14 2333 4

原创 CUDA版本支持的pytorch版本

PyTorch 1.10.x - 支持 CUDA 11.1/11.2/11.3/11.4。PyTorch 1.9.x - 支持 CUDA 11.1/11.2/11.3。PyTorch 1.7.x - 支持 CUDA 11.0/11.1。PyTorch 1.8.x - 支持 CUDA 11.1/11.2。PyTorch 1.4.x - 支持 CUDA 10.1。PyTorch 1.5.x - 支持 CUDA 10.2。PyTorch 1.6.x - 支持 CUDA 11.0。

2024-03-27 23:29:04 4372 1

原创【论文解读】Object Goal Navigation usingGoal-Oriented Semantic Exploration

SemExp探讨了目标导航问题，涉及在未知环境中导航到给定对象类别的实例。端到端的基于学习的导航方法在这项任务中面临困难，因为它们在探索和长期规划方面效果不佳。我们提出了一种模块化系统，名为“目标导向语义探索”，它构建一个情景语义地图并利用它根据目标对象类别高效地探索环境。视觉上逼真的仿真环境中的实证结果显示，所提出的模型在多个基准测试中表现优异，包括端到端学习方法以及基于模块地图的方法，并且在CVPR-2020 Habitat ObjectNav挑战赛的获胜。

2024-01-26 17:52:02 2164 11

原创 Tensorboard 端口占用：Port 6006 is in use by another program. Either identify and stop that program

Tensorboard 端口占用：Port 6006 is in use by another program. Either identify and stop that program

2024-01-11 11:53:03 6693 10

原创 Neural Networks 期刊投稿指南

这是国际神经网络学会、欧洲神经网络学会和日本神经网络学会的官方期刊。论文类型原创的、全文长度的文章将被考虑，前提是它们除了摘要形式外尚未发表，并且没有同时在其他地方进行审查。作者可以自愿但不是必须建议一位编辑委员会成员作为审查过程的负责编辑。作者需要明确指定五个部分中的一个：认知科学、神经科学、学习系统、数学和计算分析、工程与应用。信函（最多2500字）应包含具有重要新研究结果的内容，其快速发布是合理的。每封信函应包含一个摘要（不超过100字），以及最多25个参考文献。图表及其图例应占据不超过一页。

2023-12-27 22:47:35 13649 17

原创本地查看服务器端运行的Tensorboard方法

请确保在服务器和本地机器上都已经正确安装了TensorFlow和TensorBoard，并且服务器上TensorBoard的端口是6006。如果你在服务器上运行了TensorBoard，并希望从本地机器查看TensorBoard，你可以使用SSH隧道（SSH tunneling）来将远程服务器上的TensorBoard端口映射到本地。这个命令会在本地机器上创建一个端口映射，将本地的6006端口映射到服务器的6006端口。此外，请确保你有服务器的SSH访问权限，并且服务器上允许SSH隧道。

2023-12-27 16:28:54 2253 4

原创 overleaf 加载pdf格式的矢量图时，visio 图片保存为pdf格式，如何确保pdf页面大小和图片一致

PDF是一种常见的矢量图形格式，Overleaf可以直接加载和显示PDF文件。许多绘图工具和LaTeX生成的图形都可以导出为PDF格式。SVG是一种基于XML的矢量图形格式，适用于Web和其他应用。Overleaf也支持加载和显示SVG格式的文件。EPS是一种古老但仍然广泛使用的矢量图形格式，特别适用于LaTeX文档。Overleaf支持加载EPS文件。TIFF是一种位图图形格式。overleaf 加载pdf格式的矢量图时，visio 图片保存为pdf格式，如何确保pdf页面大小和原图一致？

2023-12-15 12:15:17 4643 23

原创怎么在arXiv上下载论文的LaTeX源代码

如何在arXiv上下载论文的LaTeX源代码，并解析到overleaf新建项目中：1.打开arXiv 官网2 输入论文题目进行搜素3 点击 Download Source编辑4 下载过程中浏览器会默认解压。5. 将上面下载的文件加后缀 .zip ,再加压，你可以看到完整的项目latex 源码。6 但是上面直接加 .zip 后缀的压缩文件包依旧不能上传overleaf 创建项目。7 此时，需要将上面加压出来的文件包，能看到完整latex项目源码的文件夹，再压缩一次。再上传

2023-12-15 11:13:36 4561 4

原创 ReLU（Rectified Linear Unit）和Sigmoid激活函数

在实际使用中，ReLU常用于隐藏层，而Sigmoid常用于输出层（用于二分类任务）。随着研究的进展，有一些变体，如Leaky ReLU、Parametric ReLU、ELU等，旨在改进激活函数的性能。Sigmoid函数将输入映射到（0，1）之间的范围，常用于二分类问题。然而，Sigmoid函数在输入远离零时梯度接近零，可能导致梯度消失问题，尤其在深度网络中。ReLU是一种简单而有效的激活函数。ReLU在许多深度学习模型中被广泛使用，因为它在梯度下降中的计算上相对简单，且有效防止了梯度消失问题。

2023-12-10 21:50:39 2008 25

原创【100天精通Python】Day76：Python机器学习-第一个机器学习小项目_鸾尾花分类项目，预测与可视化完整代码（下）

鸾尾花分类完整代码，通过不同的算法来创建模型，并评估它们的准确度，以便找到最合适的算法。模型实现，分离出评估数据集，创建不同的模型来预测新数据，5.3 采用10折交叉验证来评估算法模型生成最优模型，实施预测，模型评估，完整代码（1）鸾尾花分类的完整代码（2）可视化不同模型预测的评估结果

2023-12-05 22:00:00 2370 26

原创【100天精通Python】Day75：Python机器学习-第一个机器学习小项目_鸾尾花分类项目（上）

第一个机器学习小项目，鸢尾花分类是机器学习领域中的一个经典示例，也是一个适用于入门级学习者的 "Hello World" 项目。这个项目使用鸢尾花数据集，其中包含了三个不同种类的鸢尾花：Setosa、Versicolor 和 Virginica。这三个亚属分别属于鸢尾属（Iris）中的不同物种。

2023-12-05 16:29:25 2298 11

原创【论文解读】UC-NeRF: Neural Radiance Field for Under-Calibrated multi-view cameras in autonomous driving

本文主要解决NeRF应用于多摄像头系统的场景。例如自动驾驶，因为它们极大地扩展了感知能力。尽管神经辐射场（NeRF）技术迅速发展并在室内外场景中得到广泛应用，但将NeRF应用于多摄像头系统仍然非常具有挑战性。这主要是由于多摄像头设置中固有的欠校准问题，包括来自不同摄像头中分别校准的图像信号处理单元导致的不一致的成像效果，以及由行驶过程中的机械振动引起的系统错误，影响相对摄像头姿态。在本文中，我们提出了UC-NeRF，这是一种专为欠校准的多视角摄像头系统的新颖视图合成方法。

2023-12-04 18:20:10 1461 15