Image Sculpting：精确物体编辑与3D几何控制

Image Sculpting：精确物体编辑与3D几何控制

image-sculpting Code release for Image Sculpting: Precise Object Editing with 3D Geometry Control [CVPR 2024] 项目地址: https://gitcode.com/gh_mirrors/im/image-sculpting

1. 项目介绍

Image Sculpting 是一个创新的框架，用于通过结合3D几何和图形工具来编辑2D图像。与传统的2D编辑方法不同，该方法将2D对象转换为3D，允许用户直接与3D几何进行交互。编辑完成后，这些对象会重新渲染回2D，并通过粗到细的增强过程与原始图像融合，生成高保真结果。该框架支持精确、可量化和物理上合理的编辑选项，如姿态编辑、旋转、平移、3D组合、雕刻和连续添加。

2. 项目快速启动

环境配置

首先，确保你已经安装了Python和Git。然后，按照以下步骤设置环境：

# 克隆项目仓库
git clone https://github.com/vision-x-nyu/image-sculpting.git
cd image-sculpting

# 创建虚拟环境
python -m venv venv_img_sculpting
source venv_img_sculpting/bin/activate

# 安装依赖
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
pip install -r requirements.txt

运行示例

下载项目提供的示例数据和模型：

# 下载示例数据
wget [Google Drive 链接]
unzip runs.zip

姿态编辑

bash scripts/pose_editing.sh

旋转

bash scripts/pose_rotation.sh

平移

bash scripts/translation.sh

3D组合

bash scripts/composition/joker_tiger.sh

雕刻

bash scripts/carving.sh

连续添加

bash scripts/keep_adding.sh

3. 应用案例和最佳实践

应用案例

• 姿态调整：通过3D几何控制，精确调整图像中物体的姿态。
• 物体旋转：实现物体在图像中的旋转效果，增强视觉效果。
• 物体平移：在图像中移动物体，改变构图。
• 3D组合：将多个3D模型组合到同一场景中，创造复杂图像。
• 雕刻：对3D模型进行雕刻，实现细节调整。
• 连续添加：不断添加新的3D模型，丰富图像内容。

最佳实践

• 预处理：在处理图像前，进行背景去除和图像居中处理。
• 3D重建：使用Zero-1-to-3进行高质量的3D重建。
• 精细调整：利用DreamBooth进行模型微调，以捕捉输入图像的纹理细节。
• 后期增强：通过粗到细的增强过程，确保最终图像的高保真度。

4. 典型生态项目

• ThreeStudio：提供3D重建和渲染的基础工具，Image Sculpting项目借用了其部分代码。
• Zero-1-to-3：用于从单张图像生成3D模型的工具，Image Sculpting使用其进行3D重建。
• DreamBooth：用于模型微调的开源项目，帮助Image Sculpting实现纹理细节的捕捉。

通过以上步骤和最佳实践，你可以快速上手Image Sculpting项目，并进行高效的2D图像编辑。希望这篇教程对你有所帮助！

image-sculpting Code release for Image Sculpting: Precise Object Editing with 3D Geometry Control [CVPR 2024] 项目地址: https://gitcode.com/gh_mirrors/im/image-sculpting