SPAR3D: 从单张图像进行稳定的点感知三维重建

SPAR3D: 从单张图像进行稳定的点感知三维重建

stable-point-aware-3d SPAR3D: Stable Point-Aware Reconstruction of 3D Objects from Single Images 项目地址: https://gitcode.com/gh_mirrors/st/stable-point-aware-3d

1. 项目介绍

SPAR3D 是一个用于从单张图像快速进行前馈三维网格重建的开源模型。该模型通过点云条件优化来提升重建质量，基于 Stable Fast 3D 模型，并通过改进背面网格处理，进一步提高了预测材质的质量，同时保持了快速的推理速度。

2. 项目快速启动

环境要求

• Python >= 3.8
• CUDA 或 MPS（可选）
• 对于 Windows 用户（实验性支持）：Visual Studio 2022
• 对于 Mac 用户（MPS）：OSX 15.2（及以上版本）
• 安装与平台相对应的 PyTorch
• 安装 setuptools 和 wheel

安装步骤

# 更新 setuptools 和安装 wheel
pip install -U setuptools==69.5.1
pip install wheel

# 安装项目依赖
pip install -r requirements.txt

# 如需重网，安装额外依赖
pip install -r requirements-remesh.txt

# 对于 gradio 演示，安装以下依赖
pip install -r requirements-demo.txt

运行演示

# 请求访问 Hugging Face 模型
# 创建访问令牌并使用 huggingface-cli 登录

# 运行 SPAR3D
python run.py demo_files/examples/fish.png --output-dir output/

低显存模式

若要使用低显存模式运行 SPAR3D，设置环境变量 SPAR3D_LOW_VRAM=1。

Windows 支持（实验性）

在 Windows 上运行需安装 Visual Studio 2022 和相应的 PyTorch、CUDA 版本。

MPS 支持（Mac Silicon）

在支持 MPS 的 Mac 上运行，需安装最新的 PyTorch 版本，并设置环境变量 PYTORCH_ENABLE_MPS_FALLBACK=1。

3. 应用案例和最佳实践

• 单张图像重建：使用提供的示例图片，运行 run.py 脚本生成三维模型。
• 点云编辑：使用外部工具或包含的 gradio 演示编辑点云，修复缺失的背面细节。
• 材质预测：利用模型的新贡献提高预测材质的质量。

4. 典型生态项目

• ComfyUI 扩展：为 ComfyUI 提供自定义节点和示例工作流。
• 重网选项：提供不同的网格重排选项（None, Triangle, Quad），用于优化网格的质量。

注意：以上内容为项目启动和使用的基本指南，具体细节和高级用法请参考项目官方文档。

stable-point-aware-3d SPAR3D: Stable Point-Aware Reconstruction of 3D Objects from Single Images 项目地址: https://gitcode.com/gh_mirrors/st/stable-point-aware-3d