Era3D 开源项目使用教程

Era3D 开源项目使用教程

Era3D 项目地址: https://gitcode.com/gh_mirrors/er/Era3D

1. 项目介绍

Era3D 是一个创新的多视角扩散方法，能够从单视角图像生成高分辨率的多视角图像。该项目通过引入高效的行级注意力机制，显著降低了计算复杂度，同时提高了生成图像的质量。Era3D 不仅解决了现有方法中存在的相机先验不匹配、效率低下和分辨率低的问题，还能够在不产生形状失真的情况下生成高质量的多视角图像。

2. 项目快速启动

安装环境

首先，创建并激活一个 Conda 环境：

conda create -n Era3D python=3.9
conda activate Era3D

安装 PyTorch 和其他依赖：

# 安装 PyTorch
pip install torch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 --index-url https://download.pytorch.org/whl/cu118

# 安装 xformers
pip install xformers-0.0.23.post1-cp39-cp39-manylinux2014_x86_64.whl

# 安装重建依赖
pip install git+https://github.com/NVlabs/tiny-cuda-nn/#subdirectory=bindings/torch
pip install git+https://github.com/NVlabs/nvdiffrast

# 安装其他依赖
pip install -r requirements.txt

下载模型权重

你可以从 Hugging Face 下载模型权重：

from huggingface_hub import snapshot_download
snapshot_download(repo_id="pengHTYX/MacLab-Era3D-512-6view", local_dir="./pengHTYX/MacLab-Era3D-512-6view/")

运行推理

生成多视角彩色和法线图像：

python test_mvdiffusion_unclip.py --config configs/test_unclip-512-6view.yaml \
    --pretrained_model_name_or_path='pengHTYX/MacLab-Era3D-512-6view' \
    --validation_dataset.crop_size=420 \
    --validation_dataset.root_dir=examples \
    --seed=600 \
    --save_dir='mv_res' \
    --save_mode='rgb'

3. 应用案例和最佳实践

案例1：从单张图像生成多视角图像

Era3D 可以用于从单张图像生成多视角图像，适用于需要多视角图像的场景，如3D建模、虚拟现实等。

案例2：3D 网格重建

通过 Era3D 生成的多视角图像，可以进一步用于3D网格重建，生成高质量的3D模型。

最佳实践

• 调整裁剪大小和种子：在某些情况下，调整 crop_size 和 seed 参数可以获得最佳结果。
• 背景去除：使用 rembg 或 Clipdrop 去除图像背景，以减少生成图像中的伪影。

4. 典型生态项目

Era3D 与其他开源项目结合使用，可以进一步扩展其功能：

• diffusers：用于扩散模型的库，可以与 Era3D 结合使用，增强图像生成效果。
• Wonder3D：一个3D建模工具，可以与 Era3D 结合使用，生成高质量的3D模型。
• Syncdreamer：一个多视角图像生成工具，可以与 Era3D 结合使用，生成更加一致的多视角图像。

通过这些生态项目的结合，Era3D 可以在更多应用场景中发挥其优势。

Era3D 项目地址: https://gitcode.com/gh_mirrors/er/Era3D