PGSR : 基于平面的高斯溅射高保真表面重建【全流程分析与测试！】【2025最新版！！】

已于 2025-06-13 13:52:56 修改
阅读量1.1k 收藏 14
点赞数 15
CC 4.0 BY-SA版权
分类专栏： AI 文章标签： 三维重建
于 2025-06-07 19:00:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_41889538/article/details/148385264

【PGSR】: 基于平面的高斯溅射高保真表面重建

前言

三维表面重建是计算机视觉和计算机图形学领域的核心问题之一。随着Neural Radiance Fields (NeRF)和3D Gaussian Splatting (3DGS)技术的发展，从多视角RGB图像重建高质量三维表面成为了研究热点。今天我们要深入探讨的PGSR（Planar-based Gaussian Splatting for Efficient and High-Fidelity Surface Reconstruction）正是在这一背景下诞生的创新性工作。

1. 论文背景与研究意义

1.1 研究背景

传统的表面重建方法往往需要深度信息或法向量等几何先验知识，这在实际应用中带来了诸多限制。近年来，3D Gaussian Splatting因其高效的渲染能力而备受关注，但原始的3DGS在表面重建质量方面仍有改进空间，特别是在处理复杂几何结构和细节保持方面。

1.2 研究意义

PGSR的研究意义体现在以下几个方面：

技术创新性：首次将平面约束引入高斯溅射框架，无需任何几何先验（如预训练模型提供的深度或法向量信息），仅从多视角RGB图像就能实现高保真表面重建。

实用价值：相比传统方法，PGSR在保持高质量重建效果的同时显著提升了计算效率，为实际应用提供了更好的解决方案。

学术贡献：为三维重建领域提供了新的思路，将平面几何约束与神经渲染技术有机结合。

2. 核心问题与解决方案

2.1 解决的关键问题

PGSR主要解决了以下三个核心问题：

第一，如何在没有几何先验的情况下从多视角RGB图像重建高质量表面。传统方法依赖深度图或法向量等额外信息，限制了应用场景。

第二，如何平衡重建质量与计算效率。现有方法要么重建质量不够高，要么计算成本过于昂贵。

第三，如何处理复杂几何结构和保持表面细节。传统高斯溅射在处理锐利边缘和精细结构时容易出现模糊或失真。

2.2 技术方法

PGSR的核心创新在于引入平面约束的高斯溅射表示。具体方法包括：

平面化高斯表示：将传统的3D高斯椭球约束到平面上，使其更适合表面重建任务。通过这种方式，每个高斯基元不再是任意方向的椭球，而是被约束在特定平面内。

自适应密化策略：基于梯度和几何误差的双重标准进行高斯点的分裂和克隆，确保在重要区域有足够的采样密度。

多尺度优化：采用分层优化策略，从粗到细逐步优化表面几何，既保证了全局一致性又保持了局部细节。

3. 实验效果与性能分析

3.1 定量评估结果

在DTU数据集上的测试结果显示，PGSR取得了令人印象深刻的性能：

Chamfer Distance：在DTU数据集的15个场景中，平均Chamfer Distance降至0.47，相比原论文的0.53有了显著改进。特别是在scene 24、40、55等场景中表现尤为出色。

训练效率：相比原论文的0.6小时，优化后的代码版本将训练时间缩短至0.5小时，效率提升约17%。

在Tanks and Temples数据集上的F1 Score也保持了竞争力，平均F1分数达到0.51，训练时间从1.2小时缩短至45分钟，效率提升显著。

3.2 视觉质量分析

从视觉质量角度看，PGSR在以下方面表现优异：

表面连续性：重建的表面具有良好的连续性，避免了传统方法常见的空洞和断裂问题。

细节保持：能够很好地保持原始几何的精细结构，如建筑物的棱角、雕像的纹理等。

纹理一致性：重建表面的纹理与原始图像保持高度一致，色彩过渡自然。

4. 技术创新点深度解析

4.1 平面约束机制

PGSR最核心的创新是平面约束机制。传统的3D高斯溅射使用任意方向的椭球来表示3D点，这在表面重建中会导致表面模糊。PGSR通过将高斯约束到平面上，使得每个高斯基元更适合表面表示。

这种约束不仅提高了表面质量，还减少了参数数量，从而提升了训练效率。平面约束通过数学上的正交投影实现，确保高斯的主轴始终位于表面切平面内。

4.2 智能密化策略

PGSR采用了基于几何误差和渲染梯度的双重密化策略：

几何误差驱动：在表面重建误差较大的区域增加高斯点密度，确保几何精度。

渲染梯度引导：在渲染损失梯度较大的区域进行密化，保证视觉质量。

这种双重策略确保了在关键区域有足够的表示能力，同时避免了不必要的计算开销。

4.3 多阶段优化流程

PGSR采用多阶段优化策略，包括：

初始化阶段：基于COLMAP的稀疏重建结果初始化高斯点云。

几何优化阶段：主要优化高斯的位置和形状参数，建立粗略的几何结构。

外观优化阶段：在几何结构稳定后，重点优化颜色和透明度参数。

联合优化阶段：同时优化几何和外观参数，达到最佳效果。

5. 开源情况与作者背景

5.1 开源状态

PGSR是完全开源的项目，代码托管在GitHub上（https://github.com/zju3dv/PGSR）。项目包含了完整的训练、测试和评估代码，以及详细的环境配置说明。开源协议允许学术研究和商业应用。

5.2 作者团队背景

该工作来自浙江大学CAD&CG国家重点实验室，主要作者包括：

陈丹鹏：浙江大学博士生，专注于三维重建和神经渲染。

李海：浙江大学博士生，在计算机视觉领域有丰富经验。

张国锋教授：浙江大学教授，CAD&CG国家重点实验室主任，在三维视觉和几何处理领域的国际知名学者。

这个团队在三维重建、SLAM、多视角几何等领域有着深厚的技术积累和丰富的研究经验。

6. 工作流程详解

6.1 数据预处理

PGSR的工作流程始于数据预处理阶段：

图像获取：从多个视角拍摄目标物体或场景的RGB图像。

相机标定：使用COLMAP进行Structure-from-Motion，获得相机内外参数和稀疏点云。

掩码生成：对于某些数据集，需要生成前景掩码以提高重建质量。

6.2 训练过程

训练过程分为以下几个关键步骤：

初始化：基于COLMAP的稀疏点云初始化高斯点，设置初始的位置、协方差和颜色参数。

渲染优化：通过可微分渲染计算渲染损失，包括颜色损失和正则化项。

几何约束：应用平面约束，确保高斯点位于合理的表面上。

自适应密化：根据梯度和几何误差动态调整高斯点密度。

参数更新：使用Adam优化器更新所有可学习参数。

6.3 后处理与网格提取

训练完成后进行后处理：

深度渲染：从多个视角渲染深度图。

点云融合：将多视角深度图融合成完整的点云。

表面重建：使用泊松重建或Marching Cubes算法从点云提取三角网格。

网格优化：对生成的网格进行平滑和细化处理。

7. 优势与局限性分析

7.1 主要优势

PGSR相比现有方法具有以下优势：

无需几何先验：仅从RGB图像就能实现高质量重建，大大扩展了应用场景。

高效训练：相比传统NeRF方法，训练速度显著提升，实用性更强。

表面质量优异：重建的表面连续性好，细节保持完整。

易于部署：代码结构清晰，环境配置相对简单。

7.2 局限性

然而，PGSR也存在一些局限：

内存需求：对于大型场景，内存消耗仍然较大。

纹理依赖：在弱纹理区域可能出现过拟合，需要调整参数。

实时性：虽然比NeRF快，但仍难以实现实时重建。

光照假设：假设场景光照相对固定，对光照变化敏感。

8. 环境配置详细指南

8.1 系统要求

在开始之前，确保你的系统满足以下要求：

操作系统：Ubuntu 20.04 LTS

GPU：NVIDIA RTX 4090（24GB显存）

CUDA版本：11.8

Python版本：3.8

内存：建议32GB以上

8.2 Conda环境配置

首先创建并激活虚拟环境：

# 创建名为pgsr的conda环境
conda create -n pgsr python=3.8 -y
conda activate pgsr

# 安装基础依赖
conda install -c conda-forge gcc gxx -y

8.3 PyTorch安装

安装与CUDA 11.8兼容的PyTorch：

# 安装PyTorch及相关库
pip install torch==2.0.1+cu118 torchvision==0.15.2+cu118 torchaudio==2.0.2+cu118 --index-url https://download.pytorch.org/whl/cu118

8.4 项目克隆与依赖安装

# 克隆项目（包含子模块）
git clone --recursive https://github.com/zju3dv/PGSR.git
cd PGSR

# 安装Python依赖
pip install -r requirements.txt

# 编译安装自定义CUDA操作
pip install submodules/diff-plane-rasterization
pip install submodules/simple-knn

# 安装其他必要工具
pip install opencv-python imageio imageio-ffmpeg scikit-image configargparse lpips

8.5 COLMAP安装

COLMAP是进行Structure-from-Motion的必要工具：

# 方法1：使用conda安装（推荐）
conda install -c conda-forge colmap

# 方法2：从源码编译（如果conda安装失败）
sudo apt-get install \
    git \
    cmake \
    build-essential \
    libboost-program-options-dev \
    libboost-filesystem-dev \
    libboost-graph-dev \
    libboost-system-dev \
    libboost-test-dev \
    libeigen3-dev \
    libsuitesparse-dev \
    libfreeimage-dev \
    libmetis-dev \
    libgoogle-glog-dev \
    libgflags-dev \
    libglew-dev \
    qtbase5-dev \
    libqt5opengl5-dev \
    libcgal-dev

git clone https://github.com/colmap/colmap.git
cd colmap
mkdir build
cd build
cmake .. -GNinja
ninja
sudo ninja install

9. 数据集准备与测试

9.1 推荐测试数据集

为了全面评估PGSR的性能，建议使用以下标准数据集：

DTU数据集：这是多视角立体视觉的经典评估数据集，包含124个不同材质和光照条件的物体扫描。DTU数据集特别适合评估表面重建的精度，因为它提供了高精度的真值点云。
关键要点：

+ DTU 数据集可从官方页面下载，包含图像数据和评估用参考 3D 模型。
+ SampleSet.zip（6.3 GB）提供图像、掩码和相机参数，Points.zip（6.3 GB）提供 STL 文件。
+ 使用 COLMAP 生成稀疏重建，PGSR 脚本 run_dtu.py 进行测试。
+ 数据需按特定结构组织，测试结果可通过渲染脚本查看

Tanks and Temples数据集：这个数据集包含了更大规模的室内外场景，对算法的鲁棒性提出了更高要求。它包含了复杂的几何结构和丰富的纹理细节。

MipNeRF 360数据集：这是一个相对较新的数据集，包含了室内外的360度场景，对算法处理大视角变化的能力提出了挑战。

9.2 DTU数据集配置

首先下载和配置DTU数据集：

# 创建数据目录
mkdir -p data/dtu_dataset

# 下载预处理的DTU数据集（来自2DGS项目）
# 注意：这是一个大文件，需要稳定的网络连接
wget -O dtu_data.zip "https://download_link_for_dtu_dataset"
unzip dtu_data.zip -d data/dtu_dataset/

# 下载DTU评估数据（真值点云）
mkdir -p data/dtu_dataset/dtu_eval
# 从DTU官网下载Points和ObsMask文件夹

要下载 DTU 数据集和配套的 dtu_eval 数据，您需要访问 DTU 机器人图像数据集页面（DTU MVS 2014）。您需要下载以下两个文件：

  • SampleSet.zip（6.3 GB）：包含图像数据、可观测性掩码、相机参数和评估代码。
  • Points.zip（6.3 GB）：包含所有场景的参考 3D 模型（STL 文件）。

9.3 Tanks and Temples数据集配置

# 创建TnT数据目录
mkdir -p data/tnt_dataset

# 下载TnT数据集
# 需要从官网下载训练和测试集

# 运行预处理脚本
python scripts/preprocess/convert_tnt.py --tnt_path data/tnt_dataset/tnt

9.4 数据集结构验证

确保你的数据集目录结构如下：

data/
├── dtu_dataset/
│   ├── dtu/
│   │   ├── scan24/
│   │   │   ├── images/          # RGB图像
│   │   │   ├── mask/            # 前景掩码
│   │   │   ├── sparse/          # COLMAP输出
│   │   │   ├── cameras_sphere.npz
│   │   │   └── cameras.npz
│   │   └── scan37/ ...
│   └── dtu_eval/
│       ├── Points/stl/          # 真值点云
│       └── ObsMask/             # 观察掩码
├── tnt_dataset/
│   └── tnt/
│       ├── Ignatius/
│       │   ├── images_raw/
│       │   ├── Ignatius.ply
│       │   └── ...
│       └── ...
└── mipnerf360/
    ├── bicycle/
    └── ...

10. 标准数据集测试流程

10.2 批量测试DTU数据集

为了系统评估性能，我们需要测试多个场景：

# 使用提供的脚本批量测试
python scripts/run_dtu.py

这个脚本会自动测试DTU数据集中的所有场景，并生成详细的评估报告。

10.1 单个DTU数据集测试

如果你想测试单个场景的dtu数据集，只需要基于自己的数据集结构，更改一下训练脚本就可以进行了：
我自己的数据集结构如下：
在这里插入图片描述
其中，dtu_eval目录是为了进行量化评测的

提供“官方真值 + 可见性信息”，让你的重建结果可以被 客观、可复现 地量化评测。

环节需要什么目的
Chamfer / Precision / Recall 计算118.ply把你的 mesh.ply 与真值对齐后双向最近距离 → 误差
可见性裁剪ObsMask/118/**忽略“相机看不到的点”与“背景区域”，对齐官方标准
与论文结果对比同一份真值保证你算出的数字和社区公开表格可直接横向比较

如果缺失 dtu_eval/：

  • 训练、渲染依旧能跑，但无法输出量化指标；

  • 评测脚本会报错：FileNotFoundError: Points/stl/118.ply …

其中这两个文件需要在DTU官方进行下载：

+ 从 SampleSet.zip 中提取 scan118 的图像、掩码和相机参数，放入 data/dtu_dataset/dtu/scan118。
+ 从 Points.zip 中提取 STL 文件，放入 data/dtu_dataset/dtu_eval/Points/stl。
+ 可观测性掩码（ObsMask）从 SampleSet.zip 提取，放入 data/dtu_dataset/dtu_eval/ObsMask。
形象说明：

dtu_eval/ = 真值点云 + 视角掩码 → 唯一官方评测基准

  • 没它 ➜ 只能“看着好”却无法量化

  • 有它 ➜ 能算 Chamfer、Precision、Recall，与论文表格一一对应

  • 只想跑单个 Scan ➜ 只解压对应 XX.ply 与 ObsMask/XX/

关于测试脚本方面，我基于自己的数据结构更改了对应的文件路径
之后运行代码即可：

python scripts/run_dtu_simple.py
运行结果如下：

在这里插入图片描述

运行结果分析：

1️⃣ 清理旧数据 & 复制 COLMAP 点云

rm -rf output_dtu/dtu_scan118/test/*
cp -rf data/dtu_dataset/dtu/scan118/sparse/0/* ...
  • 清除旧输出，确保运行无残留干扰
  • 复制 COLMAP 的稀疏点云信息，准备训练输入

2️⃣ 训练阶段

CUDA_VISIBLE_DEVICES=0 python train.py ...
项目数值
训练步数30,000
总耗时17 分钟
训练速度28.28 it/s
最终点数189,070 个
损失（Loss）0.01360
光度损失（Pho）0.02831
几何损失（Geo）0.00031
单帧光度（Single）0.00074

🔹 说明：收敛稳定，点数适中，训练非常成功。

3️⃣ 渲染 & TSDF 融合

CUDA_VISIBLE_DEVICES=0 python render.py ...
项目数值
渲染速度71.48 it/s
TSDF 融合耗时2 秒
输出模型文件tsdf_fusion_post.ply

🔹 说明：渲染与 TSDF 合成速度极快，参数设置合理（voxel_size=0.002）。

4️⃣ 评测阶段

CUDA_VISIBLE_DEVICES=0 python scripts/eval_dtu/evaluate_single_scene.py ...

  • 使用 STL 点云 stl118_total.ply 作为参考

  • 使用 ObsMask 掩码裁剪可见性

  • 对预测网格进行指标评估

指标名称数值含义
Chamfer0.3456 mm预测 mesh ↔ 真值 STL 几何距离
Precision0.3997预测点中有多少命中可见区域
Recall0.3725真值点中有多少被成功预测覆盖

🔹 说明：三个指标均输出成功，符合预期。

🗂️ 输出文件说明

路径内容描述
output_dtu/dtu_scan118/test/point_cloud/iteration_30000/point_cloud.ply最终训练得到的高斯点云
output_dtu/dtu_scan118/test/mesh/tsdf_fusion_post.ply融合生成的最终网格
output_dtu/dtu_scan118/test/mesh/chamfer.txt保存评测输出的 Chamfer / Precision / Recall

✅ 总结

阶段是否成功耗时结果说明
训练✅17 分钟稳定收敛，点数合适
渲染✅约 2 秒渲染快速，融合完成
评测✅约 30 秒三项指标评估成功，数据完整
输出结果如下图所示：

在这里插入图片描述

输出结果分析：
路径/文件名类型来源阶段作用 / 内容说明推荐用途
cfg_args.txt训练启动时保存命令行参数配置✅ 结果复现、再次训练导入参数
input.ply.ply训练前COLMAP 稀疏点云初始化高斯点云（第0步）可视化初始点分布，与最终对比
point_cloud/iteration_30000/point_cloud.ply.ply训练中最终优化得到的高斯点云✅ 主力点云可视化结果
point_cloud/iteration_*/point_cloud.ply.ply每保存间隔不同阶段的中间点云对比优化过程、做动画
mesh/tsdf_fusion_post.ply.ply渲染 + 融合最终后处理融合 mesh，适合可视化或发布✅ 主力 mesh 可视化结果
mesh/tsdf_fusion.ply.plyTSDF 融合融合前的粗网格检查点云密度影响
mesh/culled_mesh.ply.ply渲染前滤波网格裁剪结果（可选）验证高斯点空间裁剪
mesh/chamfer.txt.txt评测阶段输出 Chamfer / Precision / Recall 三个指标✅ 论文指标对比、性能评估
cameras.json.json训练前所有视图的相机内外参（用于渲染、复现）✅ Blender 导入、轨迹复现
multi_view.json.json训练前多视图一致性视角配对信息用于 geometry loss、结构分析
train.py.py启动自动复制当前训练使用的主代码文件快照✅ 版本管理、实验备份
scene/, utils/, train/, test/.py 脚本集启动自动复制核心代码快照，便于离线渲染与复现✅ 跨平台迁移部署
arguments/, debug/, gaussian_renderer/日志/缓存训练 + GUI参数存档、调试用图像、可视化缓存可清理（非必须）
app_model/GUI缓存GUI 使用 Qt 时保存 GUI 配置界面状态（若未用 GUI 可忽略）可忽略
推荐保留内容（便于迁移或打包结果）
必要性建议保留目录或文件理由
✅ 必须mesh/tsdf_fusion_post.ply最终可视化网格
✅ 必须point_cloud/iteration_30000/point_cloud.ply最终高斯点云结果
✅ 必须cfg_args重训练参数复现
⚙️ 可选cameras.json / multi_view.json后续轨迹复现或自定义渲染
⚙️ 可选chamfer.txt评估指标汇总

10.3 Tanks and Temples测试

# 测试TnT数据集
python scripts/run_tnt.py

# 或者测试单个场景
python train.py \
    -s data/tnt_dataset/tnt/Ignatius \
    -m output/tnt/Ignatius \
    --eval \
    --iterations 40000

10.4 性能监控

在测试过程中，建议监控以下指标：

GPU使用率：使用nvidia-smi监控GPU利用率和显存使用。

训练损失：观察训练损失的收敛情况，确保模型正常学习。

重建质量：定期检查中间结果，及时发现问题。

11. 自定义数据集处理详解

11.1 图像数据集处理

对于你自己的图像数据集，首先需要确保数据质量：

图像质量要求：

  • 分辨率：建议至少1080p，4K更佳
  • 格式：支持JPG、PNG等常见格式
  • 曝光：保持一致的曝光设置
  • 对焦：确保目标物体清晰对焦

拍摄建议：

  • 视角分布：尽量均匀覆盖目标物体的各个角度
  • 重叠度：相邻视角应有足够的重叠（建议70%以上）
  • 数量：建议50-200张图像，具体取决于场景复杂度
# 创建自定义数据集目录
mkdir -p data/custom_dataset/your_scene_name/input

# 将图像复制到input目录
cp /path/to/your/images/* data/custom_dataset/your_scene_name/input/

# 运行预处理脚本
python scripts/preprocess/convert.py \
    --data_path data/custom_dataset/your_scene_name

11.2 视频数据集处理

如果你有视频数据，需要先提取关键帧：

# 使用FFmpeg提取视频帧
mkdir -p data/custom_video/input

# 方法1：按时间间隔提取（每2秒一帧）
ffmpeg -i your_video.mp4 -vf fps=0.5 data/custom_video/input/frame_%04d.jpg

# 方法2：按帧数间隔提取（每30帧提取一帧）
ffmpeg -i your_video.mp4 -vf "select=not(mod(n\,30))" -vsync vfr data/custom_video/input/frame_%04d.jpg

# 方法3：均匀提取指定数量的帧（提取100帧）
ffmpeg -i your_video.mp4 -vf "select=between(n\,1\,100)" -vsync vfr data/custom_video/input/frame_%04d.jpg

11.3 数据预处理详解

COLMAP处理是关键步骤，需要特别注意：

# 检查COLMAP处理结果
python scripts/preprocess/check_colmap.py \
    --data_path data/custom_dataset/your_scene_name

# 如果COLMAP失败，可以调整参数重新处理
python scripts/preprocess/convert.py \
    --data_path data/custom_dataset/your_scene_name \
    --colmap_matcher exhaustive \  # 或者 sequential
    --resize_factor 2              # 下采样因子

11.4 训练参数调优

对于自定义数据集，可能需要调整训练参数：

# 基础训练命令
python train.py \
    -s data/custom_dataset/your_scene_name \
    -m output/custom/your_scene_name \
    --eval \
    --iterations 30000 \
    --save_iterations 7000 15000 30000

# 对于弱纹理场景的参数调整
python train.py \
    -s data/custom_dataset/your_scene_name \
    -m output/custom/your_scene_name \
    --max_abs_split_points 0 \      # 禁用分裂策略
    --opacity_cull_threshold 0.05 \  # 透明度剔除阈值
    --densify_grad_threshold 0.0002  # 密化梯度阈值

11.5 结果可视化与分析

训练完成后，你可以通过多种方式分析结果：

# 渲染测试图像
python render.py \
    -m output/custom/your_scene_name \
    --skip_test \
    --max_depth 10.0

# 提取高质量网格
python render.py \
    -m output/custom/your_scene_name \
    --max_depth 15.0 \
    --voxel_size 0.005 \            # 更小的体素大小获得更精细的网格
    --use_depth_filter              # 启用深度滤波

12. 实际应用案例与最佳实践

12.1 室内场景重建

对于室内场景，PGSR表现出色，但需要注意以下几点：

光照处理：室内场景光照复杂，建议使用一致的照明条件拍摄。

视角规划：确保覆盖所有重要区域，特别是角落和遮挡区域。

参数调整：

python train.py \
    -s data/indoor_scene \
    -m output/indoor_scene \
    --white_background \           # 室内场景通常使用白色背景
    --eval \
    --iterations 40000             # 室内场景可能需要更多迭代

12.2 物体扫描应用

对于小物体扫描，PGSR能够捕获精细细节：

# 小物体扫描优化参数
python train.py \
    -s data/small_object \
    -m output/small_object \
    --resolution 2 \               # 使用更高分辨率
    --densify_grad_threshold 0.0001 \  # 更低的密化阈值
    --voxel_size 0.002             # 更精细的体素大小

12.3 大场景处理

对于大型室外场景：

# 大场景处理
python train.py \
    -s data/large_scene \
    -m output/large_scene \
    --resolution 8 \               # 降低分辨率加速训练
    --max_abs_split_points 250000 \    # 增加最大点数
    --iterations 50000             # 增加训练轮数

13. 常见问题与解决方案

13.1 内存不足问题

如果遇到GPU内存不足：

# 降低训练分辨率
python train.py -r 8 ...  # 将图像下采样8倍

# 减少批处理大小
export PYTORCH_CUDA_ALLOC_CONF=max_split_size_mb:512

# 启用梯度检查点
python train.py --gradient_checkpoint ...

13.2 COLMAP失败处理

如果COLMAP无法正确处理你的图像：

# 尝试不同的特征提取器
colmap feature_extractor \
    --database_path database.db \
    --image_path images \
    --ImageReader.camera_model SIMPLE_RADIAL

# 调整匹配策略
colmap exhaustive_matcher \
    --database_path database.db \
    --SiftMatching.guided_matching 1

13.3 训练不收敛问题

如果训练损失不收敛：

  1. 检查数据质量：确保图像清晰，视角分布合理
  2. 调整学习率：尝试降低初始学习率
  3. 检查COLMAP结果：确保相机参数正确

14. 性能优化技巧

14.1 训练加速

几个加速训练的技巧：

数据预处理优化：

# 预先调整图像大小
python scripts/utils/resize_images.py \
    --input_dir data/your_scene/input \
    --output_dir data/your_scene/input_resized \
    --target_size 1920

训练参数优化：

# 使用更大的批处理大小（如果显存允许）
python train.py --batch_size 4 ...

# 减少保存频率
python train.py --save_iterations 15000 30000 ...

14.2 质量优化

提升重建质量的方法：

多尺度训练：

# 先在低分辨率训练，再在高分辨率微调
python train.py -r 4 --iterations 15000 ...
python train.py -r 2 --iterations 30000 --start_checkpoint output/checkpoint_15000.pth ...

后处理优化：

# 使用更精细的网格提取参数
python render.py \
    --voxel_size 0.001 \
    --max_depth 20.0 \
    --use_depth_filter

15. 结果评估与分析

15.1 定量评估指标

PGSR使用多个指标评估重建质量：

Chamfer Distance：衡量重建表面与真值表面的平均距离

F1 Score：在给定阈值下的精确率和召回率的调和平均

PSNR/SSIM：评估渲染图像与真值图像的相似度

15.2 可视化分析

# 生成比较图像
python scripts/eval/generate_comparison.py \
    --results_dir output/your_scene \
    --gt_dir data/ground_truth

# 创建交互式可视化
python scripts/utils/create_viewer.py \
    --mesh_path output/your_scene/mesh.ply

16. 总结与展望

PGSR作为一项创新性的表面重建技术，在效率和质量之间找到了很好的平衡点。通过本文的详细介绍和实践指南，你应该能够：

  1. 深入理解PGSR的技术原理和创新点
  2. 成功配置开发环境并运行标准测试
  3. 处理自己的图像和视频数据集
  4. 优化参数以获得最佳结果
  5. 分析和评估重建质量

希望这篇文章可以帮助对这个工作感兴趣的小伙伴，有问题欢迎评论区留言讨论

单片机与DSP中的便携式电子血压计设计
12-08
2. **系统工作流程**：系统通过压力传感器检测袖带内的压力变化，经过一系列模拟电路处理后，由单片机进行数据分析，确定血压值，并通过LCD屏幕显示。单片机控制气泵充气和放气，同时通过ADC采集压力信号，通过滤波...
CVPR‘25开源 | 表面重建新SOTA！Sparse2DGS：结合几何先验，远超2DGS和PGSR！
3D视觉工坊
05-03 117
进一步引入直接高斯基元正则化，通过基于重参数化的圆盘采样策略，将高斯基元的位置、方向和尺度重构为点表示，实现基于标准点云的跨视角一致性损失下不同形式高斯属性的统一优化。虽然基于学习的多视图立体(MVS)提供了密集的3D点，但是由于稀疏视图几何优化的不适定性，直接将其与高斯分布相结合会导致次优的结果。我们的方法不仅能够重建准确完整的场景表面，而且比基于NeRF的方法更高效。• 提出Sparse2DGS——一种测试时稀疏视角三维表面重建方法，融合高斯泼溅与MVS的优势，实现从稀疏图像的完整精确重建。
上交&浙大联合开源！GigaGS：真实感拉满的大场景曲面重建（章国锋团队最新）...
3D视觉工坊
10-03 346
点击下方卡片，关注「3D视觉工坊」公众号选择星标，干货第一时间送达来源：3D视觉工坊添加小助理：cv3d001，备注：方向+学校/公司+昵称，拉你入群。文末附3D视觉行业细分群。扫描下方二维码，加入「3D视觉从入门到精通」知识星球，星球内凝聚了众多3D视觉实战问题，以及各个模块的学习资料：近20门秘制视频课程、最新顶会论文、计算机视觉书籍、优质3D视觉算法源码等。想要入门3D视觉、做项目、搞科研，...
CV每日论文--2024.6.12
u012854516的专栏
06-13 1409
感兴趣的读者可以进一步了解该方法的详细技术细节。为了支持VCR任务的研究,作者开发了一个流程来生成合成图像,并使用维基百科的图像和字幕构建了一个名为VCR-Wiki的数据集,包括211万个英文和34.6万个中文实体,并分为易和难两个变体。实验结果表明,MoMo优于当前的艺术水平,尤其是在无需进行特定应用程序训练的情况下,仍能在推断时应用于各种运动编辑任务,如合成分布之外的运动、风格转移和空间编辑等。实验结果表明,该方法在快速训练和渲染的同时,保持了高保真的渲染和几何重建,优于基于3DGS和NeRF的方法。
VLA 论文精读（二十九）VR-Robo: A Real-to-Sim-to-Real Framework for Visual Robot Navigation and Locomotion
nenchoumi3119的博客
07-09 830
这篇论文提出了一个基于 3DGS 的 Real-to-Sim-to-Real 框架，目的在于让策略从仿真到真实世界中更有效地进行迁移。总体上来说创新点比较有限，如果你之前在 3DGS 和 RGBD 重建有基础的话这篇文章读起来并不难。
论文笔记-通⽤视觉语⾔机器⼈交互模拟框架
liminhahaha的博客
04-09 724
研究背景与问题现有挑战资产分散：不同模拟平台的3D资产（场景、物体）格式不统一，复用性差。数据成本高：真实世界数据收集成本昂贵，且硬件泛化能力有限。交互任务单一：现有基准任务（如导航、操作）缺乏对复杂社交交互和协作的评估。核心贡献统一可扩展的模拟框架生成驱动的3D资产构建：整合语言驱动的场景生成（HOLODECK）、图像到3D物体重建（TripoSR）、可控关节物体生成（CAGE）等方法，支持无限扩展场景和物体。Real2Sim流程改进。
pgsr
03-10
### 关于 PGSR 的特性、使用场景及示例 #### PGSR 编程语言特性 PGSR 并不是一个广泛认知的标准编程语言名称，在常见的编程语言列表中并未找到直接匹配项。然而，考虑到上下文中提到的 `pgsr` 可能是指 PostgreSQL...
pgsr论文解读
03-08
PGSR (Planar-based Gaussian Splatting for Efficient and High-Fidelity Surface Reconstruction)[^2] 提出了基于平面的高斯点绘技术来实现高效而高质量的三维表面重建。该方法利用了二维平面上的高斯分布模型，...
PIC16F877与FGN-605PGSR构建的低成本便携式电子血压计设计
在单片机与DSP技术日益发展的背景下，本文着重探讨了如何利用这些技术在便携式电子血压计的设计中实现高效、便捷和可靠的性能。随着社会对健康监测的需求增加，家用电子血压计作为家庭医疗设备的重要组成部分，其...
C语言实现排列组合算法的完整代码
08-03
资源下载链接为： https://pan.quark.cn/s/f989b9092fc5 在编程领域，排列和组合是两种重要的数学概念，被广泛应用于算法设计，尤其是在解决计数问题和遍历所有可能性时。C语言作为一种高效且底层的编程语言，常被用来实现这些算法，以提升效率和灵活性。接下来，我们将深入探讨如何使用C语言实现排列和组合算法。 排列是指有限集合中元素的一种有序排列方式。在C语言中，可以通过递归方法实现排列算法。核心思路是：对于当前位置，依次尝试将未使用的元素放置于此，并对剩余元素递归生成排列。当所有可能的元素都尝试过后，返回上一层，选择下一个未使用的元素。 组合则是不考虑顺序的元素集合。在C语言中，可以通过计算组合数或直接生成所有可能的组合来实现。组合数通常使用公式C(n, k) = n! / [k!(n-k)!]计算，其中n是总元素数量，k是选择的元素数量，!表示阶乘。生成组合可以采用回溯法，从第一个元素开始，依次选择k个元素。每一步有多个选择，但在回溯时需跳过已选择的元素。 通常情况下，实现这些算法的源代码会包含一个或多个函数，例如permute用于生成排列，combine用于生成组合。这些函数可能采用递归结构，也可能使用非递归的栈或队列来存储中间状态。此外，源代码还可能包含一些辅助函数，如检查元素是否已被使用、交换数组中的两个元素等。 为了更好地理解这些算法，需要仔细阅读并分析源代码，重点关注以下几个关键部分： 初始化：定义数组或数据结构来存储元素和已选择的元素。 递归函数：定义递归生成排列或组合的主函数。 回溯逻辑：在递归过程中，当无法继续生成新的排列或组合时，回溯到上一层。 循环和条件判断：控制元素的选择和回溯。 输出或统计：根据需求，将生成的排列或组合输出或进行计数。 学习C语言实现的排列组合算法，有助于理解递归思想，提升处理组合数学问题的能力，并在实际编程中
【电子设计领域】电子设计大赛全流程解析：规则、备赛技巧及赛场经验分享
最新发布
08-03
内容概要：本文详细介绍了电子设计大赛的意义、规则、评分标准、备赛要点以及参赛体验。电子设计大赛作为科技与创新的盛宴，汇聚了电子爱好者和专业人才，旨在展示创新思维、推动科技进步。大赛面向高校学生和电子爱好者，通常以3人团队形式参赛，比赛流程包括报名、命题发布后的设计制作、作品提交与评审。评分标准涵盖功能实现、创新性、稳定性和设计报告质量等多个维度。备赛过程中，选手需掌握电路原理、单片机、传感器等基础知识，提升电路设计、编程和硬件调试技能，并注重团队协作。文中还通过“创新先锋队”的案例展示了参赛团队如何克服电路设计、算法优化和运动控制等难题。最后强调了参赛选手在比赛中收获的能力提升和宝贵经验，展望了电子设计领域的未来发展。 适合人群：对电子设计感兴趣的学生、电子爱好者及专业人士。 使用场景及目标：①帮助参赛者了解比赛规则和评分标准，做好充分准备；②为初学者提供电子设计所需的基础知识和技术指导；③激励更多人参与到电子设计活动中，推动电子行业的创新发展。 其他说明：本文不仅提供了详细的赛事信息，还分享了实际参赛的经验教训，对于准备参赛或对电子设计感兴趣的读者具有很高的参考价值。
嵌入式实时操作系统任务间通信机制详解与实现_多任务协作_信号量同步_互斥锁保护_消息队列通信_事件标志组_优先级反转解决方案_任务调度策略_嵌入式系统开发_实时性保障_资源竞争处理.zip
08-03
嵌入式实时操作系统任务间通信机制详解与实现_多任务协作_信号量同步_互斥锁保护_消息队列通信_事件标志组_优先级反转解决方案_任务调度策略_嵌入式系统开发_实时性保障_资源竞争处理.zip
【嵌入式开发】STM32单片机开发实战全流程：硬件架构解析、开发环境搭建及典型项目案例指导
08-03
内容概要：本教程系统全面地介绍了基于STM32系列单片机的开发流程及实战技巧。首先解析STM32硬件架构，包括ARM Cortex-M内核结构、时钟系统、存储器体系及常用外设模块，分析寄存器配置以理解底层控制原理。接着讲解开发环境搭建，涵盖STM32CubeMX自动代码生成工具、Keil MDK、STM32CubeIDE的使用，介绍HAL库与LL库的区别及优势。外设驱动模块深入讲解GPIO口控制、定时器定时与PWM输出、串口通信等常见模块原理及代码实现。涵盖RTOS基础知识，重点介绍FreeRTOS在STM32平台的移植及应用，讲解任务管理、时间管理等机制。提供多个典型项目实战案例，如智能温湿度监测系统、红外遥控器设计等。还介绍调试技巧，如使用ST-Link调试器进行单步跟踪、断点设置等，以及功耗优化技巧； 适合人群：电子工程师、嵌入式开发初学者及进阶者； 使用场景及目标：①掌握STM32单片机的软硬件开发技术；②具备独立设计、开发和调试嵌入式系统的能力； 其他说明：为进入工业控制、智能家居、物联网等领域奠定坚实基础。
苍穹外卖课程笔记md转pdf
08-03
苍穹外卖课程笔记md转pdf
MSPM0G3507微控制器开发项目模板_基于TI最新Cortex-M0内核的低功耗MCU开发框架_包含外设驱动库RTOS移植示例低功耗管理模块和硬件抽象层_适用于工业控制.zip
08-03
MSPM0G3507微控制器开发项目模板_基于TI最新Cortex-M0内核的低功耗MCU开发框架_包含外设驱动库RTOS移植示例低功耗管理模块和硬件抽象层_适用于工业控制.zip
网店开设与运营实战教程（慕课版）配套教材ppt课件（完整版）.zip
08-03
网店开设与运营实战教程（慕课版）配套教材ppt课件（完整版）.zip
DevOpsGitCode自动化部署实战：SpringBoot项目极速上线全流程及避坑指南
08-03
内容概要：本文档介绍了一种利用GitCode内置CI/CD功能进行SpringBoot项目的快速自动化部署方法，旨在替代传统的Jenkins方案。文档详细讲解了从项目初始化、CI/CD流水线配置、服务端环境准备到部署流程的每一步骤。其中包括创建SpringBoot项目、配置关键文件如application.properties和.gitcode-ci.yml、编写部署脚本deploy.sh，以及服务端环境的具体设置。此外，文档还提供了完整的部署流程图，展示了从代码提交到生产上线的全过程，并针对可能出现的问题给出了详细的避坑指南，如环境变量管理、滚动更新策略和资源监控配置等。最后，文档还介绍了高级部署策略，包括Docker容器化部署和蓝绿部署实现，并提供了企业级扩展方案，如安全加固、性能测试和数据库迁移等内容。; 适合人群：对自动化部署有一定需求，尤其是使用SpringBoot框架的研发人员，特别是那些希望减少Jenkins复杂配置负担的技术团队。; 使用场景及目标：①希望快速实现SpringBoot项目的自动化部署，从代码提交到生产上线不超过30分钟；②寻找Jenkins的替代方案，以降低配置复杂性和资源消耗；③掌握GitCode CI/CD工具的使用方法，提升部署效率并避免常见错误。; 阅读建议：读者在学习过程中应按照文档步骤逐一实践，同时注意理解每个配置项的作用及其背后的原理，特别是对于CI/CD流水线的理解。此外，遇到问题时可以参考提供的避坑指南和常见问题解决清单，确保部署过程顺利进行。
基于时间片轮转调度算法的进程调度模拟系统_实现多进程公平调度与可视化展示_用于操作系统课程教学与进程调度原理演示_包含FCFS策略时间片中断处理就绪队列管理进程状态转换调度.zip
08-03
基于时间片轮转调度算法的进程调度模拟系统_实现多进程公平调度与可视化展示_用于操作系统课程教学与进程调度原理演示_包含FCFS策略时间片中断处理就绪队列管理进程状态转换调度
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值