on-the-fly-nvs：实时大规模新视角合成技术

on-the-fly-nvs：实时大规模新视角合成技术

on-the-fly-nvs Official implementation of On-the-fly Reconstruction for Large-Scale Novel View Synthesis from Unposed Images. A.Meuleman, I. Shah, A. Lanvin, B. Kerbl, G. Drettakis, ACM TOG (proc. SIGGRAPH) 2025 项目地址: https://gitcode.com/gh_mirrors/on/on-the-fly-nvs

项目介绍

on-the-fly-nvs 是一种针对大规模场景的新型实时新视角合成方法。它能够从无序图像中快速估计姿态并重建场景，通过高效的姿态初始化、直接原始采样以及可扩展的聚类和合并技术，处理任意长度的有序图像序列。

项目技术分析

on-the-fly-nvs 采用了 3D 高斯散点方法，该方法能够在不重新排序图像的情况下，实现对场景的高效重建。以下是该项目的几个核心技术要点：

1. 姿态初始化：通过快速初始化，为图像序列中的每张图像估计初始姿态。
2. 直接原始采样：通过直接从图像中采样原始像素，避免了复杂的预处理步骤。
3. 可扩展的聚类和合并：通过高效的聚类算法和合并策略，实现对大规模场景的高效处理。

on-the-fly-nvs 在 PyTorch 框架下实现，支持 CUDA 加速，可以在 Ubuntu 22.04 和 Windows 11 系统上运行。项目对硬件和软件环境的要求较为宽松，便于用户快速部署和使用。

项目及技术应用场景

on-the-fly-nvs 的应用场景广泛，主要包括以下几个方面：

1. 虚拟现实：为虚拟现实应用提供实时的新视角合成，增强用户体验。
2. 增强现实：在增强现实场景中，实时合成新视角，提高虚拟物体与真实环境的融合度。
3. 图像编辑：为图像编辑软件提供实时的新视角合成功能，帮助用户更好地编辑和创作图像。

项目特点

on-the-fly-nvs 的特点如下：

1. 实时性：项目能够在不牺牲质量的前提下，实现实时的新视角合成。
2. 高效性：通过直接原始采样和可扩展的聚类算法，项目能够高效处理大规模场景。
3. 易用性：项目对环境要求宽松，安装和配置过程简单，便于用户快速上手。
4. 可扩展性：项目支持多种图像格式和输入设备，可根据用户需求进行扩展。

以下是关于 on-the-fly-nvs 的详细说明：

快速姿态初始化

on-the-fly-nvs 通过快速姿态初始化，为图像序列中的每张图像估计初始姿态。这一步骤是整个新视角合成过程的基础，它确保了后续步骤的准确性。

直接原始采样

项目采用直接原始采样技术，直接从图像中采样原始像素。这种方法避免了复杂的预处理步骤，简化了整个处理流程。

可扩展的聚类和合并

on-the-fly-nvs 通过高效的聚类算法和合并策略，实现对大规模场景的高效处理。这一技术的核心在于根据图像特征将相似的像素聚类到一起，然后进行合并，从而实现对场景的精细重建。

环境要求和安装过程

on-the-fly-nvs 在 PyTorch 框架下实现，支持 CUDA 加速。以下是在 Ubuntu 22.04 和 Windows 11 系统上安装和配置 on-the-fly-nvs 的步骤：

1. 克隆项目仓库：

   git clone --recursive https://github.com/graphdeco-inria/on-the-fly-nvs.git
   cd on-the-fly-nvs
   

2. 创建虚拟环境：

   conda create -n onthefly_nvs python=3.12 -y
   conda activate onthefly_nvs
   

3. 安装依赖：

   pip install torch torchvision xformers --index-url https://download.pytorch.org/whl/cu128
   pip install cupy-cuda12x
   pip install -r requirements.txt
   

4. 根据需要安装 CUDA 版本，具体步骤可参考项目文档。

数据准备和训练

on-the-fly-nvs 需要有序的图像序列作为输入。用户应按照以下步骤准备数据：

1. 确保图像按字母顺序排序，并存放在 ${SOURCE_PATH}/images 目录下。
2. 可选地，如果使用 COLMAP 数据，将 COLMAP 文件放在 ${SOURCE_PATH}/sparse/0 目录下。

训练过程如下：

1. 使用以下命令开始训练：

   python train.py -s ${SOURCE_PATH} -m ${MODEL_PATH}
   

2. 若要排除测试图像，可以使用 --test_hold 参数：

   python train.py -s ${SOURCE_PATH} -m ${MODEL_PATH} --test_hold 8 --test_frequency 20
   

3. 训练完成后，可以在 ${MODEL_PATH}/test_images 目录下查看测试图像。

通过上述介绍，我们可以看到 on-the-fly-nvs 在实时大规模新视角合成领域具有显著的优势和广泛的应用前景。无论是虚拟现实、增强现实还是图像编辑，on-the-fly-nvs 都能够提供高效、实时的新视角合成解决方案，为用户带来更好的体验。

on-the-fly-nvs Official implementation of On-the-fly Reconstruction for Large-Scale Novel View Synthesis from Unposed Images. A.Meuleman, I. Shah, A. Lanvin, B. Kerbl, G. Drettakis, ACM TOG (proc. SIGGRAPH) 2025 项目地址: https://gitcode.com/gh_mirrors/on/on-the-fly-nvs