Stable Diffusion XL(SDXL)原理详解

已于 2023-09-11 14:40:56 修改
阅读量2.8k 收藏 3
点赞数
CC 4.0 BY-SA版权
分类专栏： AI算法 文章标签： stable diffusion AIGC
于 2023-08-17 21:00:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/orangerfun/article/details/132240292
本文详细介绍了Stable Diffusion XL（SDXL）模型的原理和改进，包括更大的Unet backbone、训练技巧如图像尺寸条件化、图像裁剪参数条件、多尺度训练以及refiner模块。相较于前代SD模型，SDXL在图像质量和细节上有显著提升，且在与SOTA模型的比较中表现出色。此外，文章还探讨了SDXL的局限性及未来改进方向。

在这里插入图片描述

😘关注公众号funNLPer畅读全文😘

技术报告：SDXL: Improving Latent Diffusion Models for High-Resolution Image Synthesis
官方代码：Stability-AI-generative-models
模型权重：HuggingFace-Stability AI
非官方代码：Linaqruf/kohya-trainer
diffuser库：diffusers/pipelines/stable_diffusion_xl

文章目录

通过各种实验验证，SDXL已经超越了先前发布的各种版本的Stable Diffusion，并且与当前未开源的文生图SOTA模型（如midjorney）具有不相上下的效果。本文将介绍SDXL相比于之前的SD（SD1.5， SD2.0等）改进之处。相比之前各个版本的SD，SDXL 的主要改进之处在于：

  • 使用了更大的Unet backbone，大约是之前版本SD的3倍
  • 使用了几个简单但是非常有效的训练技巧，包括图像尺寸条件化策略，图像裁剪参数条件化以及多尺度训练等
  • 增加了一个refinement 模块来改善生成图片的质量

本文主要根据技术报告SDXL: Improving Latent Diffusion Models for High-Resolution Image Synthesis来讲解SDXL的原理，在下一篇文章中我们会通过源码解读来进一步理解SDXL的改进点。

1. SDXL原理

1.1 整体架构

SDXL和之前的版本一样也是基于latent diffusion架构，对于latent diffusion，首先会采用一个autoencoder模型来图像压缩为latent，然后扩散模型用来生成latent，生成的latent可以通过autoencoder的decoder来重建出图像。SDXL整体模型结构如下图所示：

了解本专栏 订阅专栏 解锁全文 超级会员免费看
详细解读SDXL: Improving Latent Diffusion Models forHigh-Resolution Image Synthesis
沉迷单车的追风少年
08-17 1303
SDXL是当下新推出的扩散模型，高质量、高分辨率、高真实性大背后是哪些技术支撑？如此先进的扩散模型做了哪些改进？这一讲详细解读一下SDXL背后的原理和技术。
SDXL1.0大模型的发布能给Stable Diffusion带来全新的使用体验吗？
python03012的博客
05-14 1520
（全套教程文末领取哈）
Stable diffusion的SDXL模型，针不错！（含实操）
2401_84760719的博客
06-11 1万+
与之前的SD1.5大模型不同，这次的SDXL在架构上采用了“两步走”的生图方式：以往SD1.5大模型，生成步骤为 Prompt → Base → Image，比较简单直接；而这次的SDXL大模型则是在中间加了一步 Refiner。Refiner的作用是什么呢？简单来说就是能够自动对图像进行优化，提高图像质量和清晰度，减少人工干预的需要。简单来说，SDXL这种设计就是先用基础模型（Base）生成一张看起来差不多的图片，然后再使用一个图像精修模型（Refiner）进行打磨，从而让图片生成的质量更高。
【文生图】Stable Diffusion XL 1.0模型Full Fine-tuning指南（U-Net全参微调）
liuz_notes的博客
11-03 7277
Stable Diffusion XL 1.0模型Full Fine-tuning（全参微调），一键生成优质海报图像的详细指南
Stable Diffusion XL（SDXL）核心基础知识
热门推荐
weixin_47748259的博客
01-12 1万+
如图所示，相比之前的SD，SDXL的第一个stage采用的是普通的DownBlock2D，而不是采用基于attention的CrossAttnDownBlock2D；SDXL的autoencoder依然采用KL-f8，但是并没有采用之前的autoencoder，而是基于同样的架构采用了更大的batch size（256 vs 9）重新训练，同时对模型的参数采用了EMA（指数移动平均），从而改善生成图片的局部和高频细节。SDXL的解决方案：图像裁剪参数条件化策略。SDXL的解决方案：多尺度训练策略。
深入浅出完整解析Stable Diffusion XL（SDXL）核心基础知识
欢迎大家关注我
08-20 1万+
（全网最详细）深入浅出完整解析Stable Diffusion XL（SDXL）核心基础知识。
精选资源
Stable Diffusion SDXL Beta 模型（中文版） .pdf
05-09
"Stable Diffusion SDXL Beta 模型（中文版）" 是一款正在开发中的先进人工智能图像生成模型。这款模型相较于之前版本，如 v1 和 v2.1，有着显著的改进和增强。SDXL 模型并非最终名称，它是一个更大、参数更多的模型...
使用 Stable Diffusion XL 和 SDXL LoRA，ControlNet 生成图片
大模型
09-28 1525
Stable Diffusion XL 是由 Stability AI 创建的一种新的图片生成模型。和之前的 Stable Diffusion 1.5 模型相比它主要做了以下的优化或者增强：1）对于原有 Stable Diffusion 1.5 的 U-Net，VAE，CLIP Text Encode 做了改进；2）在原有模型基础上上增加了一个 Refiner 模型，通过 Refiner 模型来提升图片的精细程度；
Stable Diffusion XL之使用Stable Diffusion XL训练自己的AI绘画模型
weixin_43056275的博客
03-25 6008
其中config_file.toml文件中的配置文件包含了sdxl_arguments，model_arguments，dataset_arguments，training_arguments，logging_arguments，sample_prompt_arguments，saving_arguments，optimizer_arguments以及additional_network_arguments九个个维度的参数信息。但是切记不能在多尺度增强的时候将图片的主体特征裁剪掉（比如人脸，建筑等）。
Stable Diffusion XL
百态老人的博客
11-27 1021
Stable Diffusion XL（以下简称 SDXL）是 Stability AI 推出的图像生成模型，在图像生成领域有着诸多突出特点和广泛应用。SDXL 在色彩鲜艳度和准确度方面进行了很好的调整，对比度、光线和阴影都比上一代更好，全部采用原生 1024x1024 分辨率。它可以生成图像模型难以渲染的概念，例如手、文本以及空间的排列。
Stable Diffusion 亲测这几个SDXL大模型，真的非常好用！
2401_85688943的博客
06-26 3068
大家好我是极客菌，前两周Stable Diffusion WebUI1.6.0发布了，新增了很多对SDXL生态的支持。而ControlNET也对SDXL的支持也逐渐稳定。SDXL的生态终于有一点起色了，我也觉得是时候，可以来写一篇SDXL的大模型推荐了。在推荐之前，以免大家混淆，所以这里再做一个简单的小科普：现在的所有的SD的大模型，都是基于stability.ai发布的开源模型Stable Diffusion进行微调的，而Stable Diffusion本身有很多个版本。
实时AI绘画模型SDXL Turbo核心基础知识详解
欢迎大家关注我
12-17 5580
SDXL Turbo模型，让AI绘画领域进入实时出图时代。
新一代图像合成模型：Stable Diffusion XL（SDXL）上线！
大雾的小屋的博客
08-03 1900
新的SDXL 1.0发布允许在本地计算机上运行的高分辨率人工智能图像合成。周三，Stability AI发布了其下一代开源权重人工智能图像合成模型Stable Diffusion XL 1.0（SDXL）。它可以根据文本描述生成新颖的图像，并生成比之前版本的Stable Diffusion更多细节和更高分辨率的图像。就像稳定扩散1.4版一样，在去年8月份发布开源版本后引起轰动一样，任何具备适当硬件和技术知识的人都可以免费下载SDXL文件并在自己的机器上本地运行该模型。
Stable Diffusion XL：更快，更强
略懂……略懂……
04-04 3883
总的来说，新模型并没有给我留下深刻印象。MidJourney、Leonardo AI 和 Microsoft Image Generator 仍然有更好看的生成效果。尽管 Stable Diffusion XL 与之前的 AI 模型相比似乎没有显着进步，但它仍然向前迈进了一步，并且肯定还有进一步改进的空间。我期待Stability AI官方能够公布更多细节，而且我坚信最终正式发布的产品会比预览模型更好。
Stable Diffusion - Stable Diffusion WebUI 支持 SDXL 1.0 模型的环境配置
AGI
08-02 5667
SDXL 1.0 版本是 Stable Diffusion 的最新版本，是基于潜在扩散模型的文本到图像生成技术，能够根据输入的任何文本生成高分辨率、高质量、高多样性的图像，具有以下特点：更好的成像质量：SDXL v1.0 版本能够以几乎任何艺术风格生成清晰、逼真、美观的图像，无论是风景、人物、建筑还是动物，都能呈现出细节和色彩，相比于之前的版本有着巨大的提升。更多的艺术风格：SDXL v1.0 版本相比于之前的版本，能够实现更多的风格，并且对于每种风格都能驾驭。
Stable Diffusion——SDXL 1.0原理解析
知来者逆的博客
06-25 1866
SDXL 1.0是Stability AI推出的新基础模型，作为Stable Diffusion的大幅改进版本，它是一个用于文本到图像合成的潜在扩散模型（LDM）。作为Stable Diffusion的最新进化，它正在超越其前身，并与MidjourneySOTA图像生成器相媲美的图像。这些改进源于一系列有意识的设计选择，包括一个3倍大的UNet骨干网络，更强大的预训练文本编码器，以及引入了一个单独的基于扩散的精炼模型。精炼模型使用SDEdit首次提出的后处理图像到图像扩散技术，提高了样本的视觉保真度。
Stable Diffusion升级版SDXL，一键运行包和18G模型分享！
托尼不是塔克
07-17 6016
今天主要分享两个东西，一个是ComfyUI软件包，一个是SDXL的两个模型。有这两个东西就可以快速出图了先来简单介绍一下SDXL的特点。Stable Diffusion XL 或 SDXL 是最新的图像生成模型，与以前的 SD 模型（包括 SD 2.1）相比，它专为更逼真的输出而定制，具有更详细的图像和构图。借助 Stable Diffusion XL，您现在可以通过改进的脸部生成来制作更逼真的图像，在图像中生成清晰的文字，并使用更短的提示创建更美观的艺术作品。
stable diffusion xl镜像
最新发布
01-27
对于希望获取并安装Stable Diffusion XL (SDXL) 的用户来说，了解如何找到可靠的镜像文件或资源至关重要。通常情况下，官方渠道是最安全的选择。 #### 官方GitHub仓库 最推荐的方式是从官方GitHub页面下载所需的...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值