MACE项目使用教程

MACE项目使用教程

MACE [CVPR 2024] "MACE: Mass Concept Erasure in Diffusion Models" (Official Implementation) 项目地址: https://gitcode.com/gh_mirrors/mace/MACE

1. 项目介绍

MACE（Mass Concept Erasure in Diffusion Models）是一个用于大规模概念擦除的微调框架，旨在防止生成模型在提示时生成包含不需要概念的图像。该项目由Shilin Lu等人开发，并在CVPR 2024上发表。MACE通过利用闭式交叉注意力精化和LoRA微调，成功地将擦除范围扩展到100个概念，并在通用性和特异性之间实现了有效平衡。

2. 项目快速启动

2.1 创建Conda环境

首先，克隆MACE项目并创建Conda环境：

git clone https://github.com/Shilin-LU/MACE.git
conda create -n mace python=3.10
conda activate mace

2.2 安装依赖

安装PyTorch和其他必要的依赖：

conda install pytorch==2.0.1 torchvision==0.15.2 pytorch-cuda=11.7 -c pytorch -c nvidia
pip install diffusers==0.22.0 transformers==4.38.1
pip install accelerate openai omegaconf

2.3 数据准备

生成每个概念的8张图像及其相应的分割掩码：

CUDA_VISIBLE_DEVICES=0 python data_preparation.py configs/object/ship.yaml

2.4 训练MACE

使用准备好的数据进行训练：

CUDA_VISIBLE_DEVICES=0 python training.py configs/object/ship.yaml

2.5 模型推理

使用微调后的模型生成图像：

CUDA_VISIBLE_DEVICES=0 python inference.py \
  --num_images 3 \
  --prompt 'your_prompt' \
  --model_path /path/to/saved_model/LoRA_fusion_model \
  --save_path /path/to/save/folder

3. 应用案例和最佳实践

3.1 对象擦除

在生成图像时，MACE可以有效地擦除特定对象，例如在生成风景图像时擦除不需要的建筑物。

3.2 名人擦除

在生成名人相关的图像时，MACE可以擦除特定名人的面部特征，保护隐私。

3.3 艺术风格擦除

在生成艺术作品时，MACE可以擦除特定的艺术风格，生成更加多样化的艺术作品。

4. 典型生态项目

4.1 Grounded-Segment-Anything

MACE项目依赖于Grounded-Segment-Anything项目进行分割掩码的生成，确保擦除效果的精确性。

4.2 Stable Diffusion

MACE项目基于Stable Diffusion模型进行微调，利用其强大的生成能力进行概念擦除。

4.3 Hugging Face Transformers

MACE项目使用了Hugging Face的Transformers库，提供了丰富的预训练模型和工具。

通过以上步骤，您可以快速上手MACE项目，并在实际应用中体验其强大的概念擦除功能。

MACE [CVPR 2024] "MACE: Mass Concept Erasure in Diffusion Models" (Official Implementation) 项目地址: https://gitcode.com/gh_mirrors/mace/MACE