MIGC 开源项目使用与启动教程

MIGC 开源项目使用与启动教程

MIGC [CVPR 2024 Highlight] "MIGC: Multi-Instance Generation Controller for Text-to-Image Synthesis" (Official Implementation) 项目地址: https://gitcode.com/gh_mirrors/mi/MIGC

1. 项目介绍

MIGC（Multi-Instance Generation Controller）是一个用于文本到图像合成的多实例生成控制器。它通过先进的机器学习技术，实现了对图像中多个实例的精细控制，可以生成高质量且多样化的图像。MIGC++ 是 MIGC 的进阶版本，提供了更强的属性控制和更灵活的图像生成能力。

2. 项目快速启动

环境搭建

首先，需要创建一个 Conda 环境，并安装必要的依赖。

conda create -n MIGC_diffusers python=3.9 -y
conda activate MIGC_diffusers
pip install -r requirement.txt
pip install -e .

检查点下载

下载预训练的模型权重，并将其放置在项目的 pretrained_weights 文件夹中。

# 下载 MIGC 模型权重
wget https://example.com/MIGC_SD14.ckpt -O pretrained_weights/MIGC_SD14.ckpt

# 如果需要使用 MIGC++，下载 MIGC++ 模型权重
wget https://example.com/MIGC++_SD14.ckpt -O pretrained_weights/MIGC++_SD14.ckpt

单图像生成

使用以下命令，可以快速生成一个图像。

CUDA_VISIBLE_DEVICES=0 python inference_single_image.py

对于 MIGC++，可以使用以下命令进行图像生成，此命令同时使用框和掩码来控制实例位置。

CUDA_VISIBLE_DEVICES=0 python migc_plus_inference_single_image.py

3. 应用案例和最佳实践

属性控制增强

对于那些需要更精细属性控制的用户，可以考虑使用 python inferencev2_single_image.py 脚本。这个高级版本，InferenceV2，在减少属性泄漏问题方面有显著改进，它通过接受稍长的推理时间，将 COCO-MIG Benchmark 的实例成功率从 66% 提升到 68%。

多样化图像生成

MIGC 作为一个即插即用的控制器，可以轻松地生成各种多样化和高质量的图像。只需简单地更换不同的基础生成器权重，即可达到类似图库中展示的结果。

4. 典型生态项目

目前，MIGC 与 GLIGEN-GUI 结合，使得艺术创作更加便捷。用户可以通过图形界面更直观地操作生成图像。此外，MIGC 的开源生态也在不断发展中，社区贡献了各种工具和模型，进一步扩展了 MIGC 的应用范围。

MIGC [CVPR 2024 Highlight] "MIGC: Multi-Instance Generation Controller for Text-to-Image Synthesis" (Official Implementation) 项目地址: https://gitcode.com/gh_mirrors/mi/MIGC