Deblur-GS: 从运动模糊图像中重建清晰的3D场景

Deblur-GS: 从运动模糊图像中重建清晰的3D场景

1. 项目介绍

Deblur-GS 是一篇发表于 I3D 2024 的论文 "Deblur-GS: 3D Gaussian Splatting from Camera Motion Blurred Images" 的官方实现。该项目提出了一种新的方法，用于从相机运动模糊的图像集合中重建出清晰的3D场景。传统的3D重建方法在处理模糊图像时往往会受到限制，导致重建结果出现模糊和伪影。Deblur-GS 通过将模糊建模为相机轨迹估计和时间采样的联合优化问题，同时优化高斯点的参数和相机轨迹，在 shutter 时间内达到更优的性能和渲染质量。

2. 项目快速启动

在开始之前，请确保您的系统中已安装了conda。

环境搭建

SET DISTUTILS_USE_SDK=1  # 仅限Windows
conda env create --file environment.yml
conda activate deblur_gs

训练模型

python train.py -s <path_to_dataset> --eval --deblur

• <path_to_dataset>: 请替换为您的数据集路径。
• --eval: 开启评估模式。
• --deblur: 开启去模糊模式。

生成渲染

python render.py -m <path_to_trained_model>

• <path_to_trained_model>: 请替换为您的训练模型路径。

计算错误指标

python metrics.py -m <path_to_trained_model>

• <path_to_trained_model>: 请替换为您的训练模型路径。

3. 应用案例和最佳实践

应用案例

• 处理运动模糊的图像数据，用于电影后期制作或视觉效果。
• 在自动驾驶系统中，用于改善由于车辆运动导致的图像模糊问题。

最佳实践

• 在训练模型前，确保图像数据集的质量和多样性，以便模型能够学习到不同的模糊模式。
• 调整相机运动轨迹的建模方式（线性、样条、贝塞尔曲线），以找到最适合您数据集的建模方法。

4. 典型生态项目

Deblur-GS 可以与以下类型的开源项目配合使用：

• 图像处理库，如 OpenCV，用于预处理图像数据。
• 3D场景重建项目，如 NeRF（Neural Radiance Fields），用于进一步的研究和比较。
• 视觉效果和动画制作工具，如 Blender，用于渲染和应用Deblur-GS重建的结果。