论文阅读：SDXL Improving Latent Diffusion Models for High-Resolution Image Synthesis

最新推荐文章于 2025-05-07 13:58:26 发布
最新推荐文章于 2025-05-07 13:58:26 发布
阅读量1.4k 收藏 15
点赞数 21
CC 4.0 BY-SA版权
分类专栏： # Stable Diffusion 文章标签： 论文阅读 stable diffusion
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/huzimu_/article/details/136489492

SDXL Improving Latent Diffusion Models for High-Resolution Image Synthesis

论文链接
代码链接

介绍

  • 背景：Stable Diffusion在合成高分辨率图片方面表现出色，但是仍然需要提高
  • 本文提出了SD XL，使用了更大的UNet网络，以及增加了一个Refinement Model，以进一步提高图片质量。

提高SD的措施

  • 用户偏好调查比较
    Comparing user preferences between SDXL and Stable Diffusion 1.5 & 2.1
    可以看到，在不增加Refiner模型的情况下，SD XL的效果已经比SD 1.5和2.1好很多了。
  • SD XL的模型结构
    Visualization of the two-stage pipeline
    可以看到，SD XL由一个SD base模型和一个Refiner模型组成，二者共用一个提示词输入，前者的输出同时也是后者的输入。Refiner
最低0.47元/天 解锁文章

200万优质内容无限畅学
SDXL：Improving latent diffusion models for high-resolution image synthesis
liguandong
08-20 1039
一个直接的解决方法是先对原始数据进行超分，但是超分有时候也会出现问题（一般原始图片不清晰时，我们也对训练数据做图像修复），sdxl将原始尺寸width和height作为条件嵌入unet中，这相当于让模型学到了图像分辨率参数，在训练过程中，可以不过滤数据直接resize图像，在推理时，只需要输入目标分辨率来保证生成的图像质量，图像原始尺寸嵌入和timesteps的嵌入一样，现将width和height用傅里叶特征编码进行编码，然后将特征concat在一起加载time embedding上。
详细解读SDXL: Improving Latent Diffusion Models forHigh-Resolution Image Synthesis
沉迷单车的追风少年
08-17 1115
SDXL是当下新推出的扩散模型，高质量、高分辨率、高真实性大背后是哪些技术支撑？如此先进的扩散模型做了哪些改进？这一讲详细解读一下SDXL背后的原理和技术。
论文解读之SDXL: Improving Latent Diffusion Models forHigh-Resolution Image Synthesis
m0_72806612的博客
11-10 551
SDXL是SD的改进版本，采用了三倍更大的Unet主干网络（其增大的参数主要由于更多的注意力块和使用第二个文本编码器带来的更大的交叉注意力机制的内容）设计了多个新的限制方案，并且在多个比例上进行了训练。引进了一个完善模型——用来改善采样结果的真实性。
【论文】2307.SDXL:Improving Latent Diffusion Models for High-Resolution Image Synthesis (已开源，有UI)
进一寸有一寸的欢喜
07-10 2296
1.SDXL在用户偏好效果方面似乎大大**超过了v1.5和v2.1，甚至与并列！！2.SDXL很大(2.6B Unet 参) --> 比以前的SD更慢+更多的VRAM3.两个CLIP txt-encoders，而不是一个调节向量串联，拥有更好的文本图片对齐（更听话）4.略有改进的VAE5.处理低分辨率训练图像（以图像尺寸为条件的模型）、随机裁剪（以裁剪位置为条件的模型）和非方形图像（以长宽比为条件的模型）的更好方法。
实测真香！这几款 Stable Diffusion SDXL 大模型，出图质量绝了
最新发布
Eqiqi的博客
05-07 2006
随着Stable Diffusion XL（SDXL）生态逐步繁荣，从插件开发到模型迭代都迎来了新突破，这场AI绘画领域的技术革新正展现出蓬勃生机。作为长期关注者，我深感时机成熟，是时候为大家梳理盘点一批兼具实用性与创新性的SDXL优质大模型，助力创作者们解锁更惊艳的生成效果。
SDXL: Improving Latent Diffusion Models forHigh-Resolution Image Synthesis # 论文阅读
qq_29679623的博客
05-10 772
Stability AI 7 月份发表，是一篇报告性的文章，对 SDXL 做了详细的介绍。因为是一个简单的技术报告，就只给出了少量的图示。花了一大段篇幅喷 MJ ，hahhh。
SDXL Improving Latent Diffusion Models for High-Resolution Image Synthesis
weixin_44966641的博客
05-20 1310
SDXL 三个主要的改进：1）更大的模型，这不必多说，已经是如今深度学习的趋势。2）微条件，这是一种比较巧妙的提升数据质量和数量的方式，更高效利用数据。3）引入 refine 精修模型，没具体评测过，不够貌似没什么人用呢。
(ICLR-2024)SDXL：改进高分辨率图像合成的潜在扩散模型
顾道长生的科研笔记
07-22 1309
我们提出了 SDXL，一种用于文本到图像合成的潜在扩散模型。与之前版本的 Stable Diffusion 相比，SDXL 利用了三倍大的 UNet 主干：模型参数的增加主要是由于更多的注意力块和更大的交叉注意力上下文，因为 SDXL 使用第二的文本编码器。我们设计了多种新颖的条件方案并在多种纵横比上训练 SDXL。我们还引入了一个细化模型，该模型用于提高使用事后图像到图像技术由 SDXL 生成的样本的视觉保真度。
（2023，微调节，多纵横比训练，细化模型）SDXL：用于高分辨率图像合成的改进的潜在扩散模型
qq_44681809的博客
09-19 2652
本文提出一种改进的用于文本到图像合成的潜在扩散模型 SDXL。与之前的稳定扩散相比，SDXL 利用了三倍大的 UNet 主干，设计了多种新颖的调节并在多种纵横比上训练。 还引入一种提高生成保真度的细化模型。
High-Resolution Image Synthesis with Latent Diffusion Models 论文重点
qq_45373485的博客
12-05 3483
通过将图像生成过程分解为去噪编码器的迭代应用，扩散模型(DMs)在图像数据和其他数据上实现了最先进的合成结果。此外，它们的表述还提供了一种引导机制来控制图像生成过程，而无需再训练。然而，由于这些模型通常直接在像素空间中操作，优化功能强大的dm通常会消耗数百个GPU天，而且由于顺序计算，推理是昂贵的（耗时）。为了在有限的计算资源上进行DM训练，同时保持其质量和灵活性，我们将其应用于强大的预训练预编码的潜在空间。与以前的工作相比，在这种表示上训练扩散模型首次允许在复杂性减少和细节保留之间达到一个接近最优点，极大
论文阅读_扩散模型_SDXL
谢彦的技术博客
08-29 1069
SD 是语言引导的扩散模型。SDXL 是 2023年7月 Stable Diffusion 新发的大模型框架，它是潜在扩散模型（LDM）扩展。其主要效果是：加强了画面细腻度，优化了构图，以及对语言的理解能力。
（2024，扩展Transformer和数据，SDXL，SD2，DiT与 UNet）基于扩散的文本到图像生成的可扩展性
qq_44681809的博客
04-19 2225
​本文对去噪骨干和训练集进行消融实验，发现增加 Transformer 块对于改善文本-图像对齐比增加通道数量更具高效。在数据扩展方面，训练集的质量和多样性比数据集大小更重要。增加标题密度和多样性可提高文本-图像对齐和学习效率
SD-XL 1.0-base 模型常见错误及解决方法
gitblog_02962的博客
12-30 784
SD-XL 1.0-base 模型常见错误及解决方法 在探索和运用 SD-XL 1.0-base 模型进行文本到图像生成的过程中，开发者可能会遇到各种错误。本文旨在概述这些常见错误，并提供相应的解决方法，帮助用户更顺畅地使用这一先进的扩散模型。 引言 错误排查是任何技术开发过程中的关键环节。在运用 SD-XL 1.0-base 模型时，正确的错误处理不仅能够节省时间，还能确保生成的图像质量。本文将...
SDXL: Improving Latent Diffusion Models for Hight-Resolution Image Synthesis (2023)
studyeboy的专栏
11-28 558
我们提出了SDXL，这是一个用于文本到图像合成的潜在扩散模型。与之前的 Stable Diffusion 版本相比，SDXL 利用了一个三倍大的 UNet 骨干：模型参数的增加主要是由于更多的。
【CLIP学习】第五节——Integrating CLIP with Other Models & Hands-On Projects
second_riven的博客
12-20 958
Topic: Integrating CLIP with Other Models & Hands-On ProjectsThe versatility of CLIP allows it to be combined with various other AI models, enhancing its capabilities and applications.Engaging in practical projects is a great way to understand and apply CL
【深度学习】sdxl中的 text_encoder text_encoder_2 区别
q742971636的博客
01-26 1800
在仔细阅读这些代码后，我们了解到。
实时追踪科研动态丨7.6精选新论文，附ChatPaper综述
AI_Conf的博客
07-06 341
通过在各种模拟和真实机器人设置中进行实验，包括涉及不同类型不确定性的任务（例如，从空间不确定性到数值不确定性，从人类偏好到Winograd模式），结果显示KnowNo在提高效率和自主性方面优于现代基准模型（可能涉及模型集成或大量提示调整），同时提供了形式上的保证。KnowNo可以直接用于LLMs，无需模型微调，并且提供了一种轻量级的建模不确定性的有前途的方法，可以与基础模型不断增强的能力相适应和扩展。为了解决这个问题，论文提出了一个新的框架，利用LLMs实现多智能体合作，并在各种具体环境中进行了测试。
SDXL: Improving Latent Diffusion Models for High-Resolution Image Synthesis
程永强
04-11 1244
SDXL: Improving Latent Diffusion Models for High-Resolution Image Synthesis
SDXL-Stable Diffusion改进版
持续关注并分享目标检测、数据生成、视频驱动、跨模态、分割、关键点等领域前沿技术
08-07 2434
Stability AI新作，SDXL，与之前Stable Diffusion相比，生成图像质量大幅提升。
sdxl text encoder
09-01
sdxl使用了两个不同的text encoder，分别是694m的openclip vit-bigG和354m的openai clip vit-l/14。这两个text encoder在sdxl中的倒数第二层提取特征，并将它们进行拼接，拼接后的特征维度为2048。这个拼接后的特征被称为sdxl的context dim。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [SDXL：Improving latent diffusion models for high-resolution image synthesis](https://blog.youkuaiyun.com/u012193416/article/details/132390358)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值