MVSGaussian：基于多视图立体的快速泛化高斯喷溅重建
项目介绍
MVSGaussian 是一个高效的方法，旨在从稀疏视图中单次前向传递快速重构未见过的场景。该方法利用了多视图立体（Multi-View Stereo, MVS）来编码几何感知的高斯表示，并将其解码成高斯参数。它通过提出一种混合高斯渲染策略以及一个多视图几何一致聚合策略，支持特定场景的快速微调，提供实时渲染且质量上乘的新视角合成结果。该项目在多个数据集上验证了其先进的性能，包括DTU、Real Forward-facing、NeRF Synthetic以及Tanks and Temples。
快速启动
要快速开始使用MVSGaussian，您需要完成以下步骤：
克隆仓库与环境准备
首先，克隆项目仓库到本地：
git clone https://github.com/TQTQliu/MVSGaussian.git
cd MVSGaussian
然后设置Python环境：
conda create -n mvsgs python=3.7.13
conda activate mvsgs
pip install -r requirements.txt
pip install torch==1.13.1+cu116 torchvision==0.14.1+cu116 torchaudio==0.13.1 -f https://download.pytorch.org/whl/torch_stable.html
pip install lib/submodules/diff-gaussian-rasterization
pip install lib/submodules/simple-knn
示例运行
以自定义数据为例，进行推理操作前，确保准备好了多视图图像数据或已有的Colmap稀疏重建结果。对于新数据，可以通过以下命令进行处理：
python lib/colmap/imgs2poses.py -s examples/scene1
之后，执行推理命令获取新视角：
python run.py --type evaluate --cfg_file configs/mvsgs/colmap_eval.yaml test_dataset data_root examples/scene1
若想保存视频而非图片序列，可以加上 save_video True 参数。
应用案例和最佳实践
在实际应用中，MVSGaussian可用于多种场景，如虚拟现实(VR)中的实时场景渲染，或者在没有大量现场训练数据的情况下快速构建新地点的三维模型。最佳实践中，重要的是仔细校准多视图图像，使用高质量的输入数据，并调整配置文件(config.yml)中的参数以适应特定的场景需求，例如GPU的数量、批处理大小等。
训练自定义数据
如果您希望在自己的数据集上训练模型，需指定配置文件和数据路径：
python train_net.py --cfg_file configs/mvsgs/colmap_eval.yaml train_dataset data_root your_data_path test_dataset data_root your_data_path
确保修改配置文件中的实验名称(exp_name)以及指定使用的GPU。
典型生态项目
虽然MVSGaussian本身是独立的，但它可以融入更广泛的计算机视觉和深度学习生态系统，例如结合LiDAR数据进行混合重建，或者作为AR应用的一部分，实时增强现实世界的视图。开发者可以探索与现有的3D重建工具、SLAM系统或图形渲染引擎的集成，将MVSGaussian的高效重建能力扩展到更多应用场景。
以上就是使用MVSGaussian的基本指南，项目提供了详尽的文档和示例代码，以帮助开发者迅速上手并在各种场景下发挥其优势。
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
