【文献阅读笔记】High-Resolution Image Synthesis with Latent Diffusion Models

最新推荐文章于 2025-04-23 18:55:57 发布
原创 最新推荐文章于 2025-04-23 18:55:57 发布
· 1.3k 阅读 · 1 ·
版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #人工智能 #计算机视觉

在这里插入图片描述

标题：《High-Resolution Image Synthesis with Latent Diffusion Models》
出版源：CVPR 2022
论文领域：Image Synthesis
相关链接：[pdf] [arXiv] [github]

High-Resolution Image Synthesis with Latent Diffusion Models

1 Introduction

通过将图像形成过程分解为去噪自动编码器的连续应用，diffusion models(DMs)在图像数据上取得了最先进的合成结果。此外，他们的公式允许用于控制图像生成过程而不需要重新训练的导向机制。不过，由于这些模型通常直接在像素空间操作，优化强大的 DM 通常消耗数百个 GPU，并且由于连续评估，推论是昂贵的。为了使DM能够在有限的计算资源训练，同时保留其质量和灵活性，文中作者将其应用于强大的预训练自动编码器的潜在空间中。

2 Contributions

i. 对更高维度的数据进行了更优雅的扩展数据，因此可以(a)工作在提供更忠实和详细重建的压缩水平上，以及(b)能有效地应用于百万像素图像的高分辨率合成。
ii. 在显著降低计算复杂度的同时，能够在多个任务（无条件的图像合成、绘画、随机的超分辨率）和数据集上取得有竞争力的性能。
iii. 不需要对重建和生成能力进行微妙的加权。这确保了极其忠实的重建，并且对潜伏空间的正则化要求很低。
iv. 模型可以以卷积方式应用，并呈现出 102 4 2 1024^2 10242 px的大型一致图像。
v. 设计通用的基于cross-attention的条件机制。

3 Methods

图1 模型框架

本文认为后面perceptual部分十分耗费资源，因此，LDMs设计为一个有效的生成模型+轻微的感知压缩阶段，着重优化semantic部分。模型框架如图1。

3.1 Perceptual Image Compression

LDMs利用了一个自编码模型，它学习了一个感知上等同于图像空间的空间，但显著降低了计算复杂度。

给定RGB图像 x ∈ R H × W × 3 x \in R^{H \times W \times 3} x∈RH×W×3，利用一个encoder ε \varepsilon ε将 x x x编码成一个潜在特征 z = ε ( x ) z = \varepsilon(x) z=ε(x)。其下采因子为 f = 2 m , m ∈ N f=2^m, m \in N

最低0.47元/天 解锁文章
V.0
关注
专栏目录
high-resolution image synthesis with latent diffusion models
liguandong
12-26 5274
vae的生成器，是将标准高斯映射到数据样本，vae的后验是将数据样本映射到标准高斯（学出来的）。我现在想要设计一种方法A，使得A用一种简单的变分后验将数据样本映射到标准高斯，并且使得A的生成器，将标准高斯映射到数据样本，注意，因为生成器的搜索空间大于变分后验，vae的效率远不及A方法，因为A是学一个生成器（搜索空间大），所以可以直接模仿这个后验分布的一小步，A方法就是括但模型核心思路：定义一个类似于变分后验的从数据样本到高斯分布的映射，然后学一个生成器，这个生成器模仿我们定义的这个映射的每一小步。
扩散模型+CV与NLP科研笔记专栏文章汇总：【Diffusion Models】
zik的博客
04-04 5196
CLIP是一个多模态的大模型，用了4亿个（图像、文本）对进行对比学习，学习之后可以直接进行zero-shot推理，并且不需要像ImageNet那样标注1000个类，而是可以人为给出文本提示，进行图片和文本之间的相似度计算，而且迁移效果很好。那么基于此，提出了Classifier-Free Diffusion Guidance，后续非常多的工作都是基于其来进行的，例如DALL·E 2、Imagen等吸引人眼球的模型基本上都是以它为基础做的。直接用训练好的非条件的扩散模型，无需重复训练。
High-Resolution Image Synthesis with Latent Diffusion Models 论文重点
qq_45373485的博客
12-05 3473
通过将图像生成过程分解为去噪编码器的迭代应用，扩散模型(DMs)在图像数据和其他数据上实现了最先进的合成结果。此外，它们的表述还提供了一种引导机制来控制图像生成过程，而无需再训练。然而，由于这些模型通常直接在像素空间中操作，优化功能强大的dm通常会消耗数百个GPU天，而且由于顺序计算，推理是昂贵的（耗时）。为了在有限的计算资源上进行DM训练，同时保持其质量和灵活性，我们将其应用于强大的预训练预编码的潜在空间。与以前的工作相比，在这种表示上训练扩散模型首次允许在复杂性减少和细节保留之间达到一个接近最优点，极大
LDM——High-Resolution Image Synthesis with Latent Diffusion Models论文阅读
yang_daxia的博客
03-12 990
高分辨率复杂图像的合成主要基于AR以及GAN，GAN的效果更好一些，但是对抗学习优化难，难以scale，导致无法扩展更大的模型复杂度，建模的复杂度有限。：计算复杂度高，生成过程是顺序的，限制了其在高分辨率图像上的应用（单步逐像素生成，下一个像素依赖上一个像素，无法并行）。分离训练阶段（先训练自编码器，再训练扩散模型），确保了在潜在空间中进行很好的重建，不需要对潜在空间进行过多的正则化。训练一个自编码器（autoencoder），将高维的像素空间映射到一个低维的潜在空间，同时保留了图像的感知信息。
014_SSS_High-Resolution Image Synthesis with Latent Diffusion Models
D_Trump的博客
09-13 3121
High-Resolution Image Synthesis with Latent Diffusion Models阅读笔记
论文笔记High-Resolution Image Synthesis with Latent Diffusion Models
icylling的专栏
12-19 3567
该论文在预训练的自编码器的隐含空间中训练扩散模型，并使用cross-attention机制为扩散模型引入条件。
High-Resolution Image Synthesis with Latent Diffusion Models——论文解读
qq_45791526的博客
11-26 672
利用潜在扩散模型生成高分辨率的图像，文章是发表于CVPR 2022上的一篇论文
【Diffusion】Denoising Diffusion Probabilistic Models (DDPM)小白入门指南
图挖掘领域，新晋砖家 ☞ 未来可期，欢迎和静静一起学习交流吖
01-08 783
DiffusionModel的基本概念影像生成系统的应用DALL-EImagenDiffusionModel的运作原理生成图片的步骤从高斯分布中采样噪声向量使用Denoise模块逐步去噪从噪声到清晰图片的过程类比米开朗基罗的雕像创作Denoise模型的详细说明反复使用同一个Denoise模型额外输入噪声严重程度数值Denoise模型的内部结构NoisePredictor的作用预测并减去噪声NoisePredictor的训练方法人为创造训练数据。
stable diffusion代码学习笔记
qq_33596242的博客
01-11 1971
其实就是log(1-alpha(右下角t)(头上直线))，没有带prev的都是当前时刻t，带prev的是前一时刻t-1。得到了上一刻的噪声图片x_prev后(也就是函数返回的img)，继续迭代，最终生成需要的图片。另外，还有一些参数是训练时候保存的，betas逐渐增大，用来控制噪声的强度。这部分代码应该就是PLMS加速采样用的，论文中有公式推理。
AI绘画与电子商务：Stable Diffusion生成产品展示图
AI天才研究院
04-23 967
随着电商行业竞争加剧，产品展示图的生产效率和创意性成为核心竞争力。成本高昂：单次拍摄成本随SKU数量呈线性增长，中小商家难以负担场景单一：固定背景和视角限制消费者想象力，转化率提升瓶颈明显迭代缓慢：从拍摄到上线需数天周期，无法快速响应市场趋势扩散模型基础理论与Stable Diffusion架构解析产品图生成的核心算法实现与数学推导多场景应用案例与工程化落地经验技术工具链与生态资源推荐章节核心内容核心概念。
Why Latent Space better?——CVPR 2022 : High-Resolution Image Synthesis with Latent Diffusion Models
nappingman的博客
10-13 2387
CVPR 2022 High-Resolution Image Synthesis with Latent Diffusion Models论文笔记
【CVPR 2022】（LDM）High-Resolution Image Synthesis with Latent Diffusion Models
Drug discovery
11-22 6077
详细解读Latent Diffusion Models：原理和代码
High-Resolution Image Synthesis with Latent Diffusion Models 稳定扩散模型论文笔记
敲很多键盘
03-31 2457
其优势是特征空间可迁移并且训练较为稳定，但是不容易进行模型评估，当输入的图像数据的分布情况复杂时，其学习到的特征泛化能力不足，而且生成的图像模糊。调整AE中encoder下采样f，如果f=1那就等于没有对输入进行压缩，本文对比了f在{1，2，4, 8, 16, 32}下的效果，如果f越大，则信息压缩越严重，会造成图片失真，但是训练资源则占用越少，反之f约小则训练的会越慢。其效果超过了GANs和LSGM，并且对于比同为扩散模型的DDPM效果要好，与ADM的效果接近，说明了隐空间的确保留了主要的特征信息。
【论文阅读】High-Resolution Image Synthesis with Latent Diffusion Models
weixin_57974242的博客
11-02 8822
为了降低训练扩散模型的算力，LDMs使用一个Autoencoder去学习能尽量表达原始image space的低维空间表达（latent embedding），大大减少需要的算力。在RGB空间：编码器encoder：，将x压缩成低维表示解码器decoder: D，将低维表示z还原成原始图像空间。1. 加入Autoencoder（上图中左侧红色部分），使得扩散过程在latent space下，提高图像生成的效率；
【论文简介】Stable Diffusion的基础论文:2112.High-Resolution Image Synthesis with Latent Diffusion Models
热门推荐
进一寸有一寸的欢喜
10-31 4万+
SD主体结构如下图所示，主要包括三个模型：autoencoder：encoder将图像压缩到latent空间，而decoder将latent解码为图像；CLIP text encoder：提取输入text的text embeddings，通过cross attention方式送入扩散模型的UNet中作为condition；UNet：扩散模型的主体，用来实现文本引导下的latent生成。
4、High-Resolution Image Synthesis with Latent Diffusion Models
小白的博客
03-04 3294
diffusion
High-Resolution Image Synthesis with Latent Diffusion Models
m0_59402094的博客
04-18 1455
基于潜在扩散模型的高分辨率图像合成
【深度学习】High-Resolution Image Synthesis with Latent Diffusion Models，论文
q742971636的博客
07-30 1853
通过将图像形成过程分解为去噪自动编码器的连续应用，扩散模型（DMs）在图像数据及其他领域取得了最先进的合成结果。此外，它们的构建方式允许引入引导机制以控制图像生成过程而无需重新训练。然而，由于这些模型通常直接在像素空间中运行，优化强大的DMs通常需要耗费数百个GPU天，并且由于需要进行连续评估，推理成本高昂。为了在有限的计算资源上实现DM训练并保持其质量和灵活性，我们将它们应用于强大的预训练自动编码器的潜变空间。
Stable Diffusion（Latent Diffusion Models, LDM）的相关论文
最新发布
05-16
### Stable Diffusion 和 Latent Diffusion Models (LDM) 的相关学术论文 Stable Diffusion 是一种基于潜在扩散模型（Latent Diffusion Models, LDM）的文本到图像生成系统，其核心思想在于利用潜在空间中的高效表示来加速扩散过程并提升生成质量[^1]。以下是几篇与 Stable Diffusion 及潜伏扩散模型密切相关的学术论文： #### 1. **High-Resolution Image Synthesis with Latent Diffusion Models** 这篇论文详细介绍了如何通过潜在扩散模型实现高分辨率图像合成的方法。作者提出了将扩散模型应用于潜在空间的概念，从而显著降低了计算复杂度，并提高了生成图像的质量和多样性[^3]。 #### 2. **Denoising Diffusion Probabilistic Models (DDPM)** 虽然 DDPM 并不直接涉及潜在空间的应用，但它奠定了扩散模型的基础理论框架。该研究展示了如何通过逐步去噪的过程生成高质量的数据样本，为后续的研究提供了重要的启发[^4]。 #### 3. **Improved Techniques for Training Score-Based Generative Models** 这篇文章讨论了分数匹配方法在训练生成模型中的应用，这些技术对于优化扩散模型的表现至关重要。尽管它并未专注于潜在空间建模，但其中提到的一些改进策略可以被迁移到 LDM 中以增强性能[^2]。 #### 4. **Perceptual Quality Metrics for Compressed Images Using Deep Learning** 此工作探索了感知压缩权衡问题，在实验部分特别分析了不同下采样因子 f 对结果的影响。这对于理解 Stable Diffusion 如何处理细节保留具有重要意义。 #### 5. **Super-Resolution with Latent Diffusion Models** 超分辨能力是许多现代生成系统的必备功能之一。本文描述了一种新颖的方式——借助于 LDM 实现高效的超级解析操作，这同样适用于其他类型的媒体内容创作场景[^3]。 ```python import torch from diffusers import StableDiffusionPipeline model_id = "runwayml/stable-diffusion-v1-5" pipe = StableDiffusionPipeline.from_pretrained(model_id) prompt = "A beautiful landscape painting under sunset." image = pipe(prompt).images[0] image.save("output_image.png") ``` 以上代码片段演示了如何加载预训练好的 Stable Diffusion 模型并通过简单的 API 调用来生成一张由给定提示语所决定的艺术风格图片。 ---
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值