Why Latent Space better?——CVPR 2022 : High-Resolution Image Synthesis with Latent Diffusion Models

原创 已于 2022-12-10 13:43:22 修改 · 2.4k 阅读 · 16 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #人工智能 #计算机视觉

于 2022-10-13 11:27:48 首次发布
本文介绍了一种利用潜变量扩散模型(LDM)进行高效高分辨率图像合成的方法。该方法通过自编码器预先压缩图像，减少计算成本的同时保留扩散模型的强大编辑能力。实验表明，在合适的下采样因子下，LDM能显著提升图像合成质量。

High-Resolution Image Synthesis with Latent Diffusion Models

Paper : https://openaccess.thecvf.com/content/CVPR2022/html/Rombach_High-Resolution_Image_Synthesis_With_Latent_Diffusion_Models_CVPR_2022_paper.html

Github : https://github.com/CompVis/latent-diffusion

Overview

Pipeline:

objective

这篇文章的重点就在于，为什么从pexel space到latent space是可行的——在保证减少计算成本的前提下保留了大部分扩散模型的功能，在下一节Motivation会给出解释。

论文提出的模型其实相较于一般的扩散模型没有很大区别，采用模块化设计，可以看作在原始的扩散模型输入和输出地方加了编码、解码；在预测噪声的U-Net输入前也加入了一个domain specific encoder做为对条件输入的编码，其实在实验里提到：对于以对齐的图

最低0.47元/天 解锁文章
nappingman
关注
high-resolution image synthesis with latent diffusion models
liguandong
12-26 5408
vae的生成器，是将标准高斯映射到数据样本，vae的后验是将数据样本映射到标准高斯（学出来的）。我现在想要设计一种方法A，使得A用一种简单的变分后验将数据样本映射到标准高斯，并且使得A的生成器，将标准高斯映射到数据样本，注意，因为生成器的搜索空间大于变分后验，vae的效率远不及A方法，因为A是学一个生成器（搜索空间大），所以可以直接模仿这个后验分布的一小步，A方法就是括但模型核心思路：定义一个类似于变分后验的从数据样本到高斯分布的映射，然后学一个生成器，这个生成器模仿我们定义的这个映射的每一小步。
【Stable Diffusion论文精读】High-Resolution Image Synthesis with Latent Diffusion Models（主打详细和易懂）
zik的博客
05-07 2976
Stable Diffusion图像编码器和解码器基于VQGAN，然后用的扩散模型是，条件编码器用的是CLIP或者a domain specific encoder（如BERT），通过cross-attention融入到UNet中。采样过程用了DDIM加速和条件采样（UNet架构也是用的这个一样的）。其中VQGAN和CLIP是直接加载预训练模型，训练时只需要训练扩散模型。方法鸟瞰;
【文献阅读笔记】High-Resolution Image Synthesis with Latent Diffusion Models
weixin_43480392的博客
11-01 1444
通过将图像形成过程分解为去噪自动编码器的连续应用，diffusion models(DMs)在图像数据上取得了最先进的合成结果。此外，他们的公式允许用于控制图像生成过程而不需要重新训练的导向机制。不过，由于这些模型通常直接在像素空间操作，优化强大的 DM 通常消耗数百个 GPU，并且由于连续评估，推论是昂贵的。为了使DM能够在有限的计算资源训练，同时保留其质量和灵活性，文中作者将其应用于强大的预训练自动编码器的潜在空间中。
High-Resolution Image Synthesis with Latent Diffusion Models 论文重点
qq_45373485的博客
12-05 3552
通过将图像生成过程分解为去噪编码器的迭代应用，扩散模型(DMs)在图像数据和其他数据上实现了最先进的合成结果。此外，它们的表述还提供了一种引导机制来控制图像生成过程，而无需再训练。然而，由于这些模型通常直接在像素空间中操作，优化功能强大的dm通常会消耗数百个GPU天，而且由于顺序计算，推理是昂贵的（耗时）。为了在有限的计算资源上进行DM训练，同时保持其质量和灵活性，我们将其应用于强大的预训练预编码的潜在空间。与以前的工作相比，在这种表示上训练扩散模型首次允许在复杂性减少和细节保留之间达到一个接近最优点，极大
014_SSS_High-Resolution Image Synthesis with Latent Diffusion Models
D_Trump的博客
09-13 3233
High-Resolution Image Synthesis with Latent Diffusion Models阅读笔记
【论文阅读】High-Resolution Image Synthesis with Latent Diffusion Models
weixin_57974242的博客
11-02 1万+
为了降低训练扩散模型的算力，LDMs使用一个Autoencoder去学习能尽量表达原始image space的低维空间表达（latent embedding），大大减少需要的算力。在RGB空间：编码器encoder：，将x压缩成低维表示解码器decoder: D，将低维表示z还原成原始图像空间。1. 加入Autoencoder（上图中左侧红色部分），使得扩散过程在latent space下，提高图像生成的效率；
High-Resolution Image Synthesis with Latent Diffusion Models
qq_36201400的博客
03-08 1363
为了在有限的计算资源上进行 DM 训练，同时保持其质量和灵活性，我们将它们应用在强大的预训练自动编码器的潜在空间中。与之前的工作相比，在这种表示上训练扩散模型首次允许在复杂性降低和细节保留之间达到接近最佳的点，从而极大地提高了视觉保真度。通过将交叉注意力层引入模型架构中，我们将扩散模型转变为强大而灵活的生成器，用于一般调节输入（例如文本或边界框），并且以卷积方式使高分辨率合成成为可能。
【论文阅读】High-Resolution Image Synthesis with Latent Diffusion Model
kanon的博客
03-04 1844
通过将图像形成过程分解为去噪自编码器的顺序应用，扩散模型（DMs）在图像数据上实现了最先进的合成结果，并且它们的公式允许在不重新训练的情况下引入引导机制来控制图像生成过程。然而，由于这些模型通常直接在像素空间中操作，优化强大的DMs通常需要数百个GPU天，并且由于顺序评估，推理成本很高。为了在有限的计算资源下进行DM训练，同时保留它们的质量和灵活性，作者将它们应用于强大预训练自编码器的潜在空间。与之前的工作不同，
Paper - VQGAN: Taming Transformers for High-Resolution Image Synthesis 简读
AGI
02-06 1334
本文获得一个有效和富有表现力的模型的关键启发是，卷积和Transformer架构结合起来，可以建模视觉世界的组合性质：本文使用卷积方法来高效地学习一个包含丰富上下文的视觉部件的码本，然后学习一个全局组合的模型。这些组合中的长距离交互，需要一个富有表现力的Transformer架构，来建模其构成视觉部件的分布。此外，本文利用对抗方法，来确保局部部件的字典，捕捉到感知上重要的局部结构，从而减轻了用Transformer架构建模低级统计的需要。让Transformer专注于独特优势——建模长距离关系——使它们能够
【深度学习】High-Resolution Image Synthesis with Latent Diffusion Models，论文
q742971636的博客
07-30 2015
通过将图像形成过程分解为去噪自动编码器的连续应用，扩散模型（DMs）在图像数据及其他领域取得了最先进的合成结果。此外，它们的构建方式允许引入引导机制以控制图像生成过程而无需重新训练。然而，由于这些模型通常直接在像素空间中运行，优化强大的DMs通常需要耗费数百个GPU天，并且由于需要进行连续评估，推理成本高昂。为了在有限的计算资源上实现DM训练并保持其质量和灵活性，我们将它们应用于强大的预训练自动编码器的潜变空间。
论文笔记High-Resolution Image Synthesis with Latent Diffusion Models
icylling的专栏
12-19 3763
该论文在预训练的自编码器的隐含空间中训练扩散模型，并使用cross-attention机制为扩散模型引入条件。
【扩散模型】3、Stable Diffusion 原型 | High-Resolution Image Synthesis with Latent Diffusion Models
呆呆的猫的博客
04-02 1983
本文主要介绍 stable diffusion 原型—— Latent diffusion models
【论文简介】Stable Diffusion的基础论文:2112.High-Resolution Image Synthesis with Latent Diffusion Models
热门推荐
进一寸有一寸的欢喜
10-31 5万+
SD主体结构如下图所示，主要包括三个模型：autoencoder：encoder将图像压缩到latent空间，而decoder将latent解码为图像；CLIP text encoder：提取输入text的text embeddings，通过cross attention方式送入扩散模型的UNet中作为condition；UNet：扩散模型的主体，用来实现文本引导下的latent生成。
4、High-Resolution Image Synthesis with Latent Diffusion Models
小白的博客
03-04 3420
diffusion
【CVPR 2022】（LDM）High-Resolution Image Synthesis with Latent Diffusion Models
Drug discovery
11-22 6367
详细解读Latent Diffusion Models：原理和代码
[Stable Diffusion/LDM] High-Resolution Image Synthesis with Latent Diffusion Models
sinat_30618203的博客
06-12 1514
DM的train和infer均需大量的时间和显存。
Stable Diffusion - High-Resolution Image Synthesis with Latent Diffusion Models
kebijuelun的博客
12-14 637
2021 年 runway 和慕尼黑路德维希·马克西米利安大学出品的文章，开源社区大名顶顶的文生图模型 stable diffusion 背后的论文。提出 Latent Diffusion Models，基于 latent space 进行 diffusion，降低计算量需求。
论文阅读--High-Resolution Image Synthesis with Latent Diffusion Models
weixin_47628481的博客
12-30 1490
Diffusion model相比GAN可以取得更好的图片生成效果，然而该模型是一种自回归模型，需要反复迭代计算，因此训练和推理代价都很高。论文提出一种在潜在表示空间（latent space）上进行diffusion过程的方法，从而能够大大减少计算复杂度，同时也能达到十分不错的图片生成效果。扩散模型是一类概率模型，设计用于通过逐渐去噪正态分布变量来学习数据分布pxp(x)px，这相当于学习固定马尔可夫链长度TTT的逆过程。
High-Resolution Image Synthesis with Latent Diffusion Models复现
最新发布
11-21
要复现《High-Resolution Image Synthesis with Latent Diffusion Models》的研究，可从以下方面开展： 1. **了解研究贡献与方法**：该研究提出在潜在表示空间上进行扩散过程的方法，减少计算复杂度，且能取得不错的图片生成效果。同时提出 cross - attention 方法实现多模态训练，支持类别条件图片生成、文图生成、布局条件图片生成等条件图片生成任务 [^1]。 2. **数据准备**：确定研究的具体任务，如无条件图片生成、图片修复、图片超分等，准备相应的数据集。不同任务对数据的要求和处理方式可能不同 [^1]。 3. **模型搭建**：搭建在潜在空间进行扩散过程的模型结构。模型应包含对原始图像在潜在空间上的处理流程，以及实现 cross - attention 操作的部分。具体而言，将加入的条件使用编码器进行特征提取，提取后作为 Cross - attention 的 KV，在 Unet 的流程中对潜在空间上的原始图像进行 Cross - attention 操作，以控制生成数据 [^1][^4]。 4. **训练模型**：使用准备好的数据集对模型进行训练。由于扩散模型是自回归模型，需要反复迭代计算，训练过程可能较为耗时和消耗计算资源。训练过程中需关注模型在不同任务上的表现，如无条件图片生成、图片修复、图片超分等任务 [^1]。 5. **实验验证**：在多个任务上进行实验，包括无条件图片生成、图片修复、图片超分、类别条件图片生成、文图生成、布局条件图片生成等，验证模型的效果 [^1]。 6. **评估指标**：使用合适的评估指标来衡量模型在各个任务上的性能，如在图像生成任务中可使用一些通用的图像质量评估指标。 ### 代码示例 以下是一个简单的伪代码示例，展示 cross - attention 部分的实现思路： ```python import torch import torch.nn as nn # 假设这里是 Cross - attention 模块 class CrossAttention(nn.Module): def __init__(self, dim): super().__init__() self.to_q = nn.Linear(dim, dim) self.to_k = nn.Linear(dim, dim) self.to_v = nn.Linear(dim, dim) self.scale = dim ** -0.5 def forward(self, x, condition): q = self.to_q(x) k = self.to_k(condition) v = self.to_v(condition) attn = torch.matmul(q, k.transpose(-2, -1)) * self.scale attn = torch.softmax(attn, dim=-1) out = torch.matmul(attn, v) return out # 示例使用 dim = 512 x = torch.randn(1, 10, dim) # 原始图像在潜在空间的特征 condition = torch.randn(1, 5, dim) # 条件特征 cross_attn = CrossAttention(dim) output = cross_attn(x, condition) print(output.shape) ```
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值