AI Toolkit + H100 GPU，一小时内微调最新热门文生图模型 FLUX

原创

于 2024-09-09 14:35:39 发布 · 1.9k 阅读

20 ·

CC 4.0 BY-SA版权

文章标签：

#人工智能 #云计算 #服务器

上个月，FLUX 席卷了互联网，这并非没有原因。他们声称优于 DALLE 3、Ideogram 和 Stable Diffusion 3 等模型，而这一点已被证明是有依据的。随着越来越多的流行图像生成工具（如 Stable Diffusion Web UI Forge 和 ComyUI）开始支持这些模型，FLUX 在 Stable Diffusion 领域的扩展将会持续下去。

自 FLUX 模型发布以来，我们还看到了用户工作流程中的许多重要进展。其中最值得注意的是发布了第一个 LoRA（低秩自适应模型）和 ControlNet 模型，以改进指导。这些模型分别允许用户对文本指导和对象放置进行一定程度的控制。

在这篇文章中，我们将介绍使用 AI Toolkit 中的自定义数据训练你自己的 LoRA 的首批方法之一。Jared Burkett 提供的这个仓库，为我们带来了快速连续微调 FLUX schnell 或 dev 的最佳新方法。继续阅读，了解使用 FLUX 训练你自己的 LoRA 所需的所有步骤。

设置H100

如何在 Paperspace 控制台上创建新的机器

首先，我们使用的 H100 GPU 云服务源自 DigitalOcean 旗下的 Paperspace 平台。因为平台有 H100 单张和 H100x8 两种机型，而且提供了 Jupiter notebook和模型部署能力。该平台还提供包括 A6000、A5000、A100 等不同型号的 GPU。通过 DigitalOcean 中国区独家战略合作伙伴卓普云，可以咨询包年、包月的不同折扣。

在 DigitalOcean 的Paperspace 上可以配置单卡 GPU 或多 GPU的机器。你可以通过点击 Paperspace 控制台左上角的 Gradient/Core 按钮并切换到 Core 来启动新的 H100 或多路 A100/H100 机器。接着，点击右上角的“创建机器”按钮。

在创建新机器时，请务必选择正确的 GPU 和模板，即预装了大多数我们将使用的软件包的 ML-In-A-Box 模板。你还可以选择一台存储空间足够大的机器（大于 250 GB），以避免在训练模型后遇到潜在的内存问题。

设置完成后，启动你的机器。然后，你可以通过浏览器中的桌面流访问你的机器，或从本地机器通过 SSH 连接进入。

数据准备

现在我们已全部设置完毕，可以开始加载所有训练数据。要选择训练数据，请选择相机中独特的主题或我们可以轻松获得的图像。这可以是风格或特定类型的对象/主题/人。

例如，我们选择对本文作者的脸部进行训练。为此，我们使用高质量相机以不同角度和距离拍摄了大约 30 张自拍照。然后将这些图像裁剪成正方形，并重命名以适合命名所需的格式。然后我们使用 Florence-2 自动为每张图片添加标题，并将这些标题保存在与图像相对应的文本文件中。

数据必须以以下格式存储在自己的目录中：

---|
  Your Image Directory
   |
------- img1.png
------- img1.txt
------- img2.png
------- img2.txt
...

图片和文本文件必须遵循相同的命名约定

为了实现所有这些，我们建议调整以下代码片段以运行自动标记。在您的图像文件夹上运行以下代码片段（或 GitHub repo 中的 label.py）。

!pip install -U oyaml transformers einops albumentations python-dotenv

import requests
import torch
from PIL import Image
from transformers import AutoProcessor, AutoModelForCausalLM 
import os
device = "cuda:0" if torch.cuda.is_available() else "cpu"
torch_dtype = torch.float16 if torch.cuda.is_available() else torch.float32
model_id = 'microsoft/Florence-2-large'model = AutoMode