3DGS之COLMAP

原创已于 2025-07-17 10:52:13 修改 · 971 阅读

15 ·

CC 4.0 BY-SA版权

文章标签：

#自动驾驶

于 2025-07-16 17:40:10 首次发布

自动驾驶专栏收录该内容

42 篇文章

订阅专栏

COLMAP 在 3DGS 中起到了数据预处理和三维重建的关键作用，其处理流程包括特征提取与匹配、稀疏重建、稠密重建和输出文件生成。结合 3DGS 的高斯分布建模和优化算法，COLMAP 提供了场景的几何和相机信息，为实时渲染和三维重建奠定了基础。

一、COLMAP 的作用

稀疏重建 (Sparse Reconstruction)：
- COLMAP 通过 运动结构恢复 (Structure-from-Motion, SfM) 技术，从多视角图像中提取特征点，并计算相机的位姿（外参）和场景中点云的稀疏分布（内参）。
- 在 3DGS 中，稀疏重建提供了场景的基本几何信息，如相机参数和稀疏点云数据，这些是后续稠密重建和高斯分布拟合的基础。
稠密重建 (Dense Reconstruction)：
- COLMAP 可以进一步生成稠密点云，通过多视角立体匹配 (Multi-View Stereo, MVS)，对稀疏点云进行补充，生成更密集的三维点云数据。
- 稠密点云为 3DGS 提供了更丰富的几何细节，用于构建更精确的高斯分布模型。
相机参数提取：
- COLMAP 提取每张图像的内参（相机焦距、畸变参数等）和外参（相机位置和姿态），这些参数对于 3DGS 中高斯分布的光栅化和渲染至关重要。
数据预处理：
- COLMAP 输出的稀疏或稠密点云、相机参数和图像信息，经过处理后可以作为 3DGS 的输入数据，用于构建高斯分布模型和进行实时渲染。

二、COLMAP 的处理流程

COLMAP 的处理流程主要包括以下步骤：

1. 特征提取与匹配

从输入的多张图像中提取特征点（如使用 SIFT、SURF 等算法），并计算特征描述子。
通过匹配不同图像间的特征点，建立图像间的对应关系，为后续的三角化和运动估计提供数据支持。

2. 稀疏重建

基于特征点匹配的结果，通过三角化计算场景中点云的稀疏分布。
同时估计每张图像的相机位姿（旋转和平移参数），生成稀疏三维点云和相机参数文件（如 cameras.bin 和 images.bin）。

3. 稠密重建

使用稀疏点云和相机参数，通过 MVS 算法生成稠密点云。
稠密点云文件（如 points3D.bin）提供了更丰富的几何细节，用于后续的高斯分布建模。

4. 输出文件结构

COLMAP 输出的文件通常包括：
- cameras.bin / cameras.txt：相机内参文件，包括焦距、图像分辨率、畸变参数等。
- images.bin / images.txt：相机外参文件，包括每张图像的旋转四元数、平移向量和相机 ID。
- points3D.bin / points3D.txt：稀疏或稠密点云文件，包括每个点的三维坐标和颜色信息。

三、在3DGS中的具体使用

1. 特征提取

feat_extracton_cmd = colmap_command + " feature_extractor " \
                                          "--database_path " + args.source_path + "/distorted/database.db \
        --image_path " + args.source_path + "/input \
        --ImageReader.single_camera 1 \
        --ImageReader.camera_model " + args.camera + " \
        --SiftExtraction.use_gpu " + str(use_gpu)

feature_extractor 参数功能是执行特征提取，提取每张图像的特征点，从输入的多张图像中提取特征点（如使用 SIFT、SURF 等算法），并计算特征描述子，生成特征描述子数据库database.db，使用GPU加速SIFT特征提取（--SiftExtraction.use_gpu 1）。

2. 特征匹配

feat_matching_cmd = colmap_command + " exhaustive_matcher \
        --database_path " + args.source_path + "/distorted/database.db \
        --SiftMatching.use_gpu " + str(use_gpu)

exhaustive_matcher 参数功能是执行特征匹配，建立图像间的两两对应关系。exhaustive_matcher 会读取 database.db 中的特征点信息，并进行以下操作：

匹配图像间的关键点：利用描述子计算不同图像之间的特征相似性，找到对应的特征点对。
生成匹配关系：将匹配结果（对应点对）存储在数据库中，作为后续稀疏重建的输入。

此外需注意，exhaustive_matcher 是穷举匹配，适合小规模数据集（如小于 100 张图像），对于大规模数据集，可以使用更高效的匹配策略，如 sequential_matcher 或 vocab_tree_matcher。

3.稀疏三维重建

mapper_cmd = (colmap_command + " mapper \
        --database_path " + args.source_path + "/distorted/database.db \
        --image_path " + args.source_path + "/input \
        --output_path " + args.source_path + "/distorted/sparse \
        --Mapper.ba_global_function_tolerance=0.000001")
    exit_code = os.system(mapper_cmd)
    if exit_code != 0:
        logging.error(f"Mapper failed with code {exit_code}. Exiting.")
        exit(exit_code)

mapper参数负责稀疏三维重建，即通过多视角图像生成场景的稀疏点云和相机位姿。该命令完成的任务有：

稀疏点云重建：
- 基于特征匹配结果（存储在 database.db 中），通过 运动恢复结构（Structure-from-Motion, SfM） 算法，计算场景的稀疏三维点云。
- 同时估计每张图像的 相机位姿（外参：旋转矩阵 R 和平移向量 t）和 相机内参（焦距 fx, fy、主点 cx, cy 等）。
输出关键数据：
- 生成的文件（如 points3D.bin、images.bin、cameras.bin）是 3DGS 的输入，用于初始化高斯分布模型。其中cameras.bin：相机内参（焦距、畸变等）；images.bin：相机外参（位姿）及关联的特征点；points3D.bin：稀疏点云的三维坐标和颜色。
全局优化（Bundle Adjustment, BA）：
- 通过参数 --Mapper.ba_global_function_tolerance=0.000001 控制优化精度，确保重建结果的几何一致性。当优化残差的变化小于 0.000001 时，停止迭代。此值越小，优化越精细，但计算时间越长。

mapper生成的稀疏点云和相机参数是3DGS的唯一输入，决定了高斯分布的初始位置和场景几何结构。若稀疏点云不完整（如匹配失败或 BA 优化不足），会导致 3DGS 的高斯模型出现空洞或扭曲。

4. 去畸变

img_undist_cmd = (colmap_command + " image_undistorter \
    --image_path " + args.source_path + "/input \
    --input_path " + args.source_path + "/distorted/sparse/0 \
    --output_path " + args.source_path + "\
    --output_type COLMAP")

image_undistorter参数用于校正图像畸变并重构稀疏重建的输出结构，使其适配后续3DGS的输入要求。该命令完成的任务有：

图像去畸变（Undistortion）：根据相机标定参数（内参和畸变系数），去除原始图像因镜头畸变（如径向畸变、切向畸变）导致的形变，生成无畸变的图像。3DGS 需要几何准确的图像数据，避免畸变影响高斯分布的光栅化精度。
重构稀疏重建输出
- 将 sparse/0 中的稀疏重建结果（相机参数、点云）与去畸变后的图像重新关联，生成标准化目录结构（sparse/、images/）。
- 适配 3DGS：3DGS 默认要求输入无畸变的图像和对应的相机参数。
输出格式标准化: 通过 --output_type COLMAP 确保输出文件格式与 COLMAP 标准一致。

四、总结

命令	输入	输出	3DGS 依赖环节
`feature_extractor`	原始图像	`database.db`	特征匹配
`exhaustive_matcher`	`database.db`	更新的 `database.db`	稀疏重建
`mapper`	`database.db`	`sparse/0/`	初始化点云和相机
`image_undistorter`	`sparse/0/` + 原始图像	`images/` + `sparse/`	最终输入数据