OminiControl 开源项目使用教程

OminiControl 开源项目使用教程

OminiControl A minimal and universal controller for FLUX.1. 项目地址: https://gitcode.com/gh_mirrors/om/OminiControl

1. 项目介绍

OminiControl 是一个为 Diffusion Transformer 模型（如 FLUX）设计的最小化且功能强大的通用控制框架。该框架支持主题驱动控制以及空间控制（如边缘引导和图像修复）。OminiControl 通过引入仅占基础模型 0.1% 的额外参数来注入控制信号，保持了原始模型结构。

2. 项目快速启动

环境搭建

首先，创建一个 Python 环境：

conda create -n omini python=3.10
conda activate omini

然后，安装项目所需的依赖：

pip install -r requirements.txt

使用示例

主题驱动生成

运行以下命令启动 Gradio 应用：

python -m src.gradio.gradio_app

图像修复

使用以下 Jupyter Notebook 示例进行图像修复：

# 导入相关库
# ...

# 加载模型
# ...

# 设置图像和遮罩
# ...

# 运行图像修复
# ...

空间控制任务

使用以下 Jupyter Notebook 示例进行边缘到图像、深度到图像、着色和去模糊等任务：

# 导入相关库
# ...

# 加载模型
# ...

# 设置输入数据
# ...

# 运行空间控制任务
# ...

3. 应用案例和最佳实践

场景变化

• 根据不同的场景，调整输入提示，以实现不同的生成效果。

尝试效果

• 利用模型进行尝试，如衣物试穿等。

Dreambooth 数据集

• 使用 Dreambooth 数据集进行模型的微调，以实现更个性化的生成效果。

空间对齐控制

• 通过空间对齐控制，实现图像修复、边缘到图像等任务。

4. 典型生态项目

• ComfyUI-Diffusers-OminiControl：由 @Macoron 开发的 ComfyUI 集成项目。
• ComfyUI_RH_OminiControl：由 @HM-RunningHub 开发的 ComfyUI 集成项目。

以上教程介绍了 OminiControl 项目的使用方法和最佳实践，希望对您有所帮助。

OminiControl A minimal and universal controller for FLUX.1. 项目地址: https://gitcode.com/gh_mirrors/om/OminiControl