MimicBrush开源项目使用教程

MimicBrush开源项目使用教程

MimicBrush Official implementations for paper: Zero-shot Image Editing with Reference Imitation 项目地址: https://gitcode.com/gh_mirrors/mi/MimicBrush

1. 项目介绍

MimicBrush是一个开源项目，提供了一种零样本图像编辑方法，通过参考图像模仿实现图像编辑。该项目由香港大学、阿里巴巴集团和蚂蚁集团共同开发，旨在帮助用户轻松实现图像纹理转换、图像合成等功能。

2. 项目快速启动

环境准备

• Python 3.8.5
• Conda 或 Pip

安装步骤

1. 克隆项目仓库：

   git clone https://github.com/ali-vilab/MimicBrush.git
   

2. 切换到项目目录：

   cd MimicBrush
   

3. 使用conda创建虚拟环境：

   conda env create -f environment.yaml
   

   或者使用pip安装依赖：

   pip install -r requirements.txt
   

4. 下载预训练模型权重：

   # 使用ModelScope下载
   from modelscope.hub.snapshot_download import snapshot_download as ms_snapshot_download
   
   sd_dir = ms_snapshot_download('xichen/cleansd', cache_dir='./modelscope')
   model_dir = ms_snapshot_download('xichen/MimicBrush', cache_dir='./modelscope')
   
   # 或者使用Huggingface下载
   from huggingface_hub import snapshot_download
   
   snapshot_download(repo_id='xichenhku/cleansd', local_dir='./cleansd')
   snapshot_download(repo_id='xichenhku/MimicBrush', local_dir='./MimicBrush')
   

5. 运行Gradio Demo：

   修改./configs/inference.yaml文件，设置模型权重路径。然后运行以下命令：

   python run_gradio3_demo.py
   

   根据界面提示，上传源图像和参考图像，编辑需要修改的区域，然后点击运行。

3. 应用案例和最佳实践

• 纹理转换：通过上传一张源图像和参考图像，可以轻松实现图像纹理的转换。
• 图像合成：将两张图像的元素融合在一起，创造出全新的视觉效果。

4. 典型生态项目

MimicBrush项目基于以下开源项目开发：

• IP-Adapter
• MagicAnimate

我们感谢这些项目的贡献者，他们的工作为MimicBrush提供了坚实的基础。

MimicBrush Official implementations for paper: Zero-shot Image Editing with Reference Imitation 项目地址: https://gitcode.com/gh_mirrors/mi/MimicBrush