Stable Diffusion XL(SDXL)原理详解

已于 2023-09-11 14:40:56 修改
阅读量2.8k 收藏 3
点赞数
CC 4.0 BY-SA版权
分类专栏： AI算法 文章标签： stable diffusion AIGC
于 2023-08-17 21:00:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/orangerfun/article/details/132240292
本文详细介绍了Stable Diffusion XL（SDXL）模型的原理和改进，包括更大的Unet backbone、训练技巧如图像尺寸条件化、图像裁剪参数条件、多尺度训练以及refiner模块。相较于前代SD模型，SDXL在图像质量和细节上有显著提升，且在与SOTA模型的比较中表现出色。此外，文章还探讨了SDXL的局限性及未来改进方向。

在这里插入图片描述

😘关注公众号funNLPer畅读全文😘

技术报告：SDXL: Improving Latent Diffusion Models for High-Resolution Image Synthesis
官方代码：Stability-AI-generative-models
模型权重：HuggingFace-Stability AI
非官方代码：Linaqruf/kohya-trainer
diffuser库：diffusers/pipelines/stable_diffusion_xl

文章目录

通过各种实验验证，SDXL已经超越了先前发布的各种版本的Stable Diffusion，并且与当前未开源的文生图SOTA模型（如midjorney）具有不相上下的效果。本文将介绍SDXL相比于之前的SD（SD1.5， SD2.0等）改进之处。相比之前各个版本的SD，SDXL 的主要改进之处在于：

  • 使用了更大的Unet backbone，大约是之前版本SD的3倍
  • 使用了几个简单但是非常有效的训练技巧，包括图像尺寸条件化策略，图像裁剪参数条件化以及多尺度训练等
  • 增加了一个refinement 模块来改善生成图片的质量

本文主要根据技术报告SDXL: Improving Latent Diffusion Models for High-Resolution Image Synthesis来讲解SDXL的原理，在下一篇文章中我们会通过源码解读来进一步理解SDXL的改进点。

1. SDXL原理

1.1 整体架构

SDXL和之前的版本一样也是基于latent diffusion架构，对于latent diffusion，首先会采用一个autoencoder模型来图像压缩为latent，然后扩散模型用来生成latent，生成的latent可以通过autoencoder的decoder来重建出图像。SDXL整体模型结构如下图所示：

了解本专栏 订阅专栏 解锁全文 超级会员免费看
详细解读SDXL: Improving Latent Diffusion Models forHigh-Resolution Image Synthesis
沉迷单车的追风少年
08-17 1303
SDXL是当下新推出的扩散模型，高质量、高分辨率、高真实性大背后是哪些技术支撑？如此先进的扩散模型做了哪些改进？这一讲详细解读一下SDXL背后的原理和技术。
SDXL1.0大模型的发布能给Stable Diffusion带来全新的使用体验吗？
python03012的博客
05-14 1520
（全套教程文末领取哈）
Stable diffusion的SDXL模型，针不错！（含实操）
2401_84760719的博客
06-11 1万+
与之前的SD1.5大模型不同，这次的SDXL在架构上采用了“两步走”的生图方式：以往SD1.5大模型，生成步骤为 Prompt → Base → Image，比较简单直接；而这次的SDXL大模型则是在中间加了一步 Refiner。Refiner的作用是什么呢？简单来说就是能够自动对图像进行优化，提高图像质量和清晰度，减少人工干预的需要。简单来说，SDXL这种设计就是先用基础模型（Base）生成一张看起来差不多的图片，然后再使用一个图像精修模型（Refiner）进行打磨，从而让图片生成的质量更高。
【文生图】Stable Diffusion XL 1.0模型Full Fine-tuning指南（U-Net全参微调）
liuz_notes的博客
11-03 7277
Stable Diffusion XL 1.0模型Full Fine-tuning（全参微调），一键生成优质海报图像的详细指南
Stable Diffusion XL（SDXL）核心基础知识
热门推荐
weixin_47748259的博客
01-12 1万+
如图所示，相比之前的SD，SDXL的第一个stage采用的是普通的DownBlock2D，而不是采用基于attention的CrossAttnDownBlock2D；SDXL的autoencoder依然采用KL-f8，但是并没有采用之前的autoencoder，而是基于同样的架构采用了更大的batch size（256 vs 9）重新训练，同时对模型的参数采用了EMA（指数移动平均），从而改善生成图片的局部和高频细节。SDXL的解决方案：图像裁剪参数条件化策略。SDXL的解决方案：多尺度训练策略。
深入浅出完整解析Stable Diffusion XL（SDXL）核心基础知识
欢迎大家关注我
08-20 1万+
（全网最详细）深入浅出完整解析Stable Diffusion XL（SDXL）核心基础知识。
精选资源
Stable Diffusion SDXL Beta 模型（中文版） .pdf
05-09
"Stable Diffusion SDXL Beta 模型（中文版）" 是一款正在开发中的先进人工智能图像生成模型。这款模型相较于之前版本，如 v1 和 v2.1，有着显著的改进和增强。SDXL 模型并非最终名称，它是一个更大、参数更多的模型...
使用 Stable Diffusion XL 和 SDXL LoRA，ControlNet 生成图片
大模型
09-28 1525
Stable Diffusion XL 是由 Stability AI 创建的一种新的图片生成模型。和之前的 Stable Diffusion 1.5 模型相比它主要做了以下的优化或者增强：1）对于原有 Stable Diffusion 1.5 的 U-Net，VAE，CLIP Text Encode 做了改进；2）在原有模型基础上上增加了一个 Refiner 模型，通过 Refiner 模型来提升图片的精细程度；
Stable Diffusion XL之使用Stable Diffusion XL训练自己的AI绘画模型
weixin_43056275的博客
03-25 6008
其中config_file.toml文件中的配置文件包含了sdxl_arguments，model_arguments，dataset_arguments，training_arguments，logging_arguments，sample_prompt_arguments，saving_arguments，optimizer_arguments以及additional_network_arguments九个个维度的参数信息。但是切记不能在多尺度增强的时候将图片的主体特征裁剪掉（比如人脸，建筑等）。
Stable Diffusion XL
百态老人的博客
11-27 1022
Stable Diffusion XL（以下简称 SDXL）是 Stability AI 推出的图像生成模型，在图像生成领域有着诸多突出特点和广泛应用。SDXL 在色彩鲜艳度和准确度方面进行了很好的调整，对比度、光线和阴影都比上一代更好，全部采用原生 1024x1024 分辨率。它可以生成图像模型难以渲染的概念，例如手、文本以及空间的排列。
Stable Diffusion 亲测这几个SDXL大模型，真的非常好用！
2401_85688943的博客
06-26 3068
大家好我是极客菌，前两周Stable Diffusion WebUI1.6.0发布了，新增了很多对SDXL生态的支持。而ControlNET也对SDXL的支持也逐渐稳定。SDXL的生态终于有一点起色了，我也觉得是时候，可以来写一篇SDXL的大模型推荐了。在推荐之前，以免大家混淆，所以这里再做一个简单的小科普：现在的所有的SD的大模型，都是基于stability.ai发布的开源模型Stable Diffusion进行微调的，而Stable Diffusion本身有很多个版本。
实时AI绘画模型SDXL Turbo核心基础知识详解
欢迎大家关注我
12-17 5581
SDXL Turbo模型，让AI绘画领域进入实时出图时代。
新一代图像合成模型：Stable Diffusion XL（SDXL）上线！
大雾的小屋的博客
08-03 1901
新的SDXL 1.0发布允许在本地计算机上运行的高分辨率人工智能图像合成。周三，Stability AI发布了其下一代开源权重人工智能图像合成模型Stable Diffusion XL 1.0（SDXL）。它可以根据文本描述生成新颖的图像，并生成比之前版本的Stable Diffusion更多细节和更高分辨率的图像。就像稳定扩散1.4版一样，在去年8月份发布开源版本后引起轰动一样，任何具备适当硬件和技术知识的人都可以免费下载SDXL文件并在自己的机器上本地运行该模型。
Stable Diffusion XL：更快，更强
略懂……略懂……
04-04 3883
总的来说，新模型并没有给我留下深刻印象。MidJourney、Leonardo AI 和 Microsoft Image Generator 仍然有更好看的生成效果。尽管 Stable Diffusion XL 与之前的 AI 模型相比似乎没有显着进步，但它仍然向前迈进了一步，并且肯定还有进一步改进的空间。我期待Stability AI官方能够公布更多细节，而且我坚信最终正式发布的产品会比预览模型更好。
Stable Diffusion - Stable Diffusion WebUI 支持 SDXL 1.0 模型的环境配置
AGI
08-02 5669
SDXL 1.0 版本是 Stable Diffusion 的最新版本，是基于潜在扩散模型的文本到图像生成技术，能够根据输入的任何文本生成高分辨率、高质量、高多样性的图像，具有以下特点：更好的成像质量：SDXL v1.0 版本能够以几乎任何艺术风格生成清晰、逼真、美观的图像，无论是风景、人物、建筑还是动物，都能呈现出细节和色彩，相比于之前的版本有着巨大的提升。更多的艺术风格：SDXL v1.0 版本相比于之前的版本，能够实现更多的风格，并且对于每种风格都能驾驭。
Stable Diffusion——SDXL 1.0原理解析
知来者逆的博客
06-25 1867
SDXL 1.0是Stability AI推出的新基础模型，作为Stable Diffusion的大幅改进版本，它是一个用于文本到图像合成的潜在扩散模型（LDM）。作为Stable Diffusion的最新进化，它正在超越其前身，并与MidjourneySOTA图像生成器相媲美的图像。这些改进源于一系列有意识的设计选择，包括一个3倍大的UNet骨干网络，更强大的预训练文本编码器，以及引入了一个单独的基于扩散的精炼模型。精炼模型使用SDEdit首次提出的后处理图像到图像扩散技术，提高了样本的视觉保真度。
Stable Diffusion升级版SDXL，一键运行包和18G模型分享！
托尼不是塔克
07-17 6017
今天主要分享两个东西，一个是ComfyUI软件包，一个是SDXL的两个模型。有这两个东西就可以快速出图了先来简单介绍一下SDXL的特点。Stable Diffusion XL 或 SDXL 是最新的图像生成模型，与以前的 SD 模型（包括 SD 2.1）相比，它专为更逼真的输出而定制，具有更详细的图像和构图。借助 Stable Diffusion XL，您现在可以通过改进的脸部生成来制作更逼真的图像，在图像中生成清晰的文字，并使用更短的提示创建更美观的艺术作品。
stable diffusion xl镜像
最新发布
01-27
### Stable Diffusion XL 镜像文件下载资源 对于希望获取并安装Stable Diffusion XL (SDXL) 的用户来说，了解如何找到可靠的镜像文件或资源至关重要。通常情况下，官方渠道是最安全的选择。 #### 官方GitHub仓库 最推荐的方式是从官方GitHub页面下载所需的模型权重和其他必要组件。这不仅能够确保获得最新版本，还能减少遇到潜在风险的可能性[^2]。 ```bash git clone https://github.com/Stability-AI/stablediffusion-xl.git cd stablediffusion-xl ``` #### 使用WebUI工具自动加载 考虑到手动配置可能较为复杂，可以考虑利用`stable-diffusion-webui`这类图形界面工具来简化过程。该工具支持一键导入多种不同版本的Stable Diffusion模型，包括最新的SDXL变体。按照特定指南调整克隆命令以适应项目结构变化： ```bash mv stable-diffusion-webui-master stable-diffusion-webui ``` 之后，在启动webui之前，记得通过设置选项指定要使用的具体模型路径，从而让程序自动处理剩余的工作[^3]。 #### 第三方托管平台 除了直接从开发者处取得外，一些知名的云存储服务也可能提供由社区成员上传的预训练模型副本。然而需要注意的是，尽管这些来源有时能加快下载速度，但在使用前务必验证其合法性和安全性。 为了进一步优化体验以及充分利用SDXL带来的更高分辨率优势，建议关注相关论坛和技术博客上的更新信息，以便及时掌握任何新的进展或提示[^1]。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值