SDXL: Improving Latent Diffusion Models for Hight-Resolution Image Synthesis (2023)

[PDF]SDXL:Improving Latent Diffusion Models for Hight-Resolution Image Synthesis
CODE
MODEL WEIGHTS

摘要

我们提出了SDXL，这是一个用于文本到图像合成的潜在扩散模型。与之前的 Stable Diffusion 版本相比，SDXL 利用了一个三倍大的 UNet 骨干：模型参数的增加主要是由于更多的注意力块和更大的交叉注意力上下文，因为 SDXL 使用了第二个文本编码器。我们设计了多种新颖的条件方案，并在多个宽高比上训练 SDXL。我们还引入了一个细化模型，用于通过后处理的图像到图像技术改善 SDXL 生成的样本的视觉保真度。我们证明，与之前的 Stable Diffusion 版本相比，SDXL 显示出了明显改进的性能，并且在结果上与黑盒最先进的图像生成器相媲美。为了促进开放研究并增进在大型模型训练和评估方面的透明度，我们提供了代码和模型权重的访问权限。

1 引言

过去一年在深度生成建模领域取得了巨大的突破，涵盖了各种数据域，如自然语言[50]、音频[17]和视觉媒体[38, 37, 40, 44, 15, 3, 7]。在本报告中，我们关注后者，并揭示了 SDXL，这是 Stable Diffusion 的一个明显改进版本。Stable Diffusion 是一个潜在的文本到图像扩散模型（DM），它为诸如 3D 分类[43]、可控图像编辑[54]、图像个性化[10]、合成数据增强[48]、图形用户界面原型设计[51] 等最近进展的领域奠定了基础。值得注意的是，应用的范围非常广泛，涵盖了诸如音乐生成[9]和从 fMRI 脑扫描中重建图像[49]等多样领域。

用户研究表明，SDXL 在性能上始终明显优于所有先前版本的 Stable Diffusion（见图1）。在本报告中，我们介绍了导致性能提升的设计选择，包括 i) 与以前的 Stable Diffusion 模型相比，一个 3 倍大的 UNet 骨干（第2.1节），ii) 两种简单但有效的额外调节技术（第2.2节），它们不需要任何形式的额外监督，以及 iii) 一个单独的基于扩散的细化模型，它对由 SDXL 生成的潜在特征应用噪声去噪过程[28]，以提高其样本的视觉质量（第2.5节）。

视觉媒体创作领域的一个主要关切是，虽然黑盒模型通常被认为是最先进的，但其架构的不透明性阻碍了对其性能的忠实评估和验证。这种缺乏透明度妨碍了可重现性，阻碍了创新，并阻止了社区在其基础上进行进一步科学和艺术进展。此外，这些封闭源代码的策略使得难以客观、公正地评估这些模型的偏见和局限性，这对于其负责任和道德的部署至关重要。通过 SDXL，我们发布了一个开放的模型，其性能与黑盒图像生成模型相媲美（见图10和图11）。

2 改进 Stable Diffusion

在本节中，我们介绍了对 Stable Diffusion 架构的改进。这些改进是模块化的，可以单独或一起用于扩展任何模型。尽管以下策略被实现为对潜在扩散模型（LDMs）[38]的扩展，但它们中的大多数也适用于它们的像素空间对应物。

图 1： 左图：比较用户对 SDXL 和 Stable Diffusion 1.5＆2.1 的偏好。尽管 SDXL 已经明显优于 Stable Diffusion 1.5＆2.1，但添加额外的细化阶段可以提升性能。右图：两阶段流程的可视化：我们使用 SDXL 生成大小为 128 × 128 的初始潜在图。随后，我们利用专门的高分辨率细化模型，并对在第一步生成的潜在图使用相同提示的 SDEdit [28] 进行处理。SDXL 和细化模型使用相同的自动编码器。

2.1 架构与规模

从 Ho 等人的开创性工作 [14] 和 Song 等人的工作 [47] 开始，它们展示了扩散模型（DMs）在图像合成中是强大的生成模型，卷积 UNet [39] 架构一直是基于扩散的图像合成的主导架构。然而，随着基础 DMs [40, 37, 38] 的发展，底层架构不断演变：从添加自注意力和改进的上采样层 [5]，到用于文本到图像合成的交叉注意力 [38]，再到纯变压器架构 [33]。

我们遵循这一趋势，并且，按照 Hoogeboom 等人 [16] 的方法，将变压器计算的主要部分转移到 UNet 的较低层特征中。特别是，与原始的 Stable Diffusion 架构相反，我们在 UNet 中使用了变压器块的异构分布：出于效率原因，我们在最高特征级别省略了变压器块，在较低级别使用了 2 个和 10 个块，并且在 UNet 中完全删除了最低级别（8× 降采样）- 请参见表1，比较 Stable Diffusion 1.x & 2.x 和 SDXL 的架构。我们选择了一个更强大的预训练文本编码器，用于文本调节。具体来说，我们使用 OpenCLIP ViT-bigG [19] 结合 CLIP ViT-L [34]，其中我们沿通道轴连接了文本编码器的倒数第二个输出 [1]。除了使用交叉注意力层将模型调节到文本输入之外，我们还遵循 [30]，并且还根据 OpenCLIP 模型的池化文本嵌入对模型进行调节。这些变化使 UNet 的模型规模达到了 2.6B 参数，请参见表1。文本编码器总共有 817M 参数。

2.2 微调条件

将模型调节到图像大小 LDM 范式 [38] 的一个臭名昭著的缺点是由于其两阶段架构，训练模型需要最小图像大小。解决这个问题的两种主要方法要么丢弃所有分辨率低于某个最小值的训练图像（例如，Stable Diffusion 1.4/1.5 丢弃了所有大小低于 512 像素的图像），要么对太小的图像进行放大。然而，根据期望的图像分辨率，前一种方法可能导致丢弃大量训练数据，可能会导致性能下降并影响泛化。我们在图2中为 SDXL 预训练的数据集上可视化了这种效果。对于这个特定的数据选择，丢弃所有低于我们预训练分辨率 256x256 像素的样本将导致严重的 39% 数据丢失。另一方面，第二种方法通常会引入放大伪影，可能会泄漏到最终模型输出中，导致模糊样本等问题。

图2：我们的预训练数据集的高度-vs-宽度分布。在没有提出的大小调节的情况下，由于边缘长度小于 256 像素，将丢弃 39% 的数据，如虚线所示。每个可视化单元格中的颜色强度与样本数量成比例。

相反，我们建议将 UNet 模型调节到原始图像分辨率，该分辨率在训练期间可以轻松获得。特别是，我们将图像的原始（即在任何缩放之前的）高度和宽度作为模型的额外调节提供给模型，即 $c_{size}=(h_{original},w_{original})$。每个组件都使用傅里叶特征编码进行独立嵌入，并且这些编码被连接成一个单一的向量，我们通过将其添加到时间步嵌入 [5] 中馈送到模型中。

在推理时，用户可以通过这种大小调节设置图像的期望外观分辨率。显然（见图3），模型已经学会将调节 $c_{size}$ 与分辨率相关的图像特征关联起来，这可以用来修改与给定提示相对应的输出的外观。请注意，在图3中显示的可视化效果中，我们显示了由 512x512 模型生成的样本（有关详细信息，请参见第2.5节），因为大小调节的效果在我们用于最终的 SDXL 模型的随后的多方面（比率）微调之后不太明显。

图3：改变大小调节的效果：我们从SDXL中绘制了4个具有相同随机种子的样本，并根据每列上面的说明改变大小调节。当在更大的图像尺寸上进行调节时，图像质量显然会提高。来自512x512模型的样本，详见第2.5节。注意：对于这个可视化，我们使用了512×512像素的基础模型（详见第2.5节），因为在1024×1024微调之前，大小调节的效果更为明显。最好放大查看。

我们通过在 512x512 空间大小的类别条件 ImageNet [4] 上训练和评估三个 LDMs 来定量评估这种简单但有效的调节技术：对于第一个模型（CIN-512-only），我们丢弃所有边缘至少小于 512 像素的训练示例，结果是一个只有 70k 图像的训练数据集。对于 CIN-nocond，我们使用所有训练示例，但不进行大小调节。仅对 CIN-size-cond 使用这种额外的调节。训练后，我们生成了 5k 个样本，每个模型使用 50 个 DDIM 步骤 [46] 和（无分类器的）引导尺度为 5 [13] 进行评估，并计算 IS [42] 和 FID [12]（针对完整的验证集）。对于 CIN-size-cond，我们生成的样本始终在 $c_{size}=(512,512)$ 条件下生成。表2总结了结果，并验证了 CIN-size-cond 在两个指标上都优于基线模型。我们将 CIN-512-only 的性能下降归因于对小训练数据集的过度拟合导致的泛化不良，而 CIN-nocond 的样本分布中模糊样本模式的影响导致了降低的 FID 分数。请注意，尽管我们发现这些传统的定量分数不适合评估基础（文本到图像）DMs [40, 37, 38] 的性能（请参见附录 F），但它们仍然是 ImageNet 上合理的指标，因为 FID 和 IS 的神经骨架本身已在 ImageNet 上进行了训练。

图4的前两行说明了以前SD模型的典型故障模式：合成的对象可能会被裁剪，例如左侧示例中SD 1-5和SD 2-1中猫的被截断的头部。对于这种行为的直观解释是模型在训练过程中使用了随机裁剪：由于在DL框架（如PyTorch [32]）中整理一个批次需要相同大小的张量，一个典型的处理流程是（i）调整图像的大小，使最短尺寸与目标尺寸匹配，然后（ii）沿着较长的轴随机裁剪图像。虽然随机裁剪是一种自然的数据增强形式，但它可能泄漏到生成的样本中，导致上述恶意效果。

图4：将SDXL的输出与以前版本的稳定扩散进行比较。对于每个提示，我们显示相应模型的3个随机样本，使用DDIM采样器 [46] 进行50步和cfg-scale 8.0 [13]。附加的样本见图14。

为了解决这个问题，我们提出了另一种简单而有效的调节方法：在数据加载期间，我们均匀采样裁剪坐标$c_{top}$