High-Resolution Image Synthesis with Latent Diffusion Models

原创 已于 2024-12-30 08:34:30 修改 · 112 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能

于 2023-06-26 17:33:43 首次发布
StableDiffusion是一个开源的预训练LDM，专注于高分辨率图像的合成。利用潜在扩散模型，该技术能生成精细的图像细节，为艺术创作和图像处理提供强大工具。

开源的预训练LDM，，Stable Diffusion

High-Resolution Image Synthesis with Latent Diffusion Models

high-resolution image synthesis with latent diffusion models
liguandong
12-26 5403
vae的生成器，是将标准高斯映射到数据样本，vae的后验是将数据样本映射到标准高斯（学出来的）。我现在想要设计一种方法A，使得A用一种简单的变分后验将数据样本映射到标准高斯，并且使得A的生成器，将标准高斯映射到数据样本，注意，因为生成器的搜索空间大于变分后验，vae的效率远不及A方法，因为A是学一个生成器（搜索空间大），所以可以直接模仿这个后验分布的一小步，A方法就是括但模型核心思路：定义一个类似于变分后验的从数据样本到高斯分布的映射，然后学一个生成器，这个生成器模仿我们定义的这个映射的每一小步。
论文阅读：High-Resolution Image Synthesis with Latent Diffusion Models
huzimu_的博客
02-26 1598
Stable Diffusion技术论文《High-Resolution Image Synthesis with Latent Diffusion Models》的阅读记录。
【论文简介】Stable Diffusion的基础论文:2112.High-Resolution Image Synthesis with Latent Diffusion Models
热门推荐
进一寸有一寸的欢喜
10-31 5万+
SD主体结构如下图所示，主要包括三个模型：autoencoder：encoder将图像压缩到latent空间，而decoder将latent解码为图像；CLIP text encoder：提取输入text的text embeddings，通过cross attention方式送入扩散模型的UNet中作为condition；UNet：扩散模型的主体，用来实现文本引导下的latent生成。
LDM：High-Resolution Image Synthesis with Latent Diffusion Models
weixin_44966641的博客
02-18 2241
Stable Diffusion 的影响力不用多说，本文主要提了 LDM 技术上的两个关键点。其中 VAE 感知压缩要首先深刻理解一系列自编码压缩方法（之前的文章都有介绍），然后搞懂 KL-reg 和 VQ-reg 两种正则化方式实际上相当于什么方法，以及为什么要加正则。交叉注意力的条件生成机制也是目前比较常用的，理解好交叉注意力机制本身是如何操作的即可，别的就是如何将不同的条件形式进行高效编码。
LDM——High-Resolution Image Synthesis with Latent Diffusion Models论文阅读
yang_daxia的博客
03-12 1351
高分辨率复杂图像的合成主要基于AR以及GAN，GAN的效果更好一些，但是对抗学习优化难，难以scale，导致无法扩展更大的模型复杂度，建模的复杂度有限。：计算复杂度高，生成过程是顺序的，限制了其在高分辨率图像上的应用（单步逐像素生成，下一个像素依赖上一个像素，无法并行）。分离训练阶段（先训练自编码器，再训练扩散模型），确保了在潜在空间中进行很好的重建，不需要对潜在空间进行过多的正则化。训练一个自编码器（autoencoder），将高维的像素空间映射到一个低维的潜在空间，同时保留了图像的感知信息。
论文笔记：High-Resolution Image Synthesis with Latent Diffusion Models
gone_with_heart的博客
06-03 279
文章提出了潜在扩散模型（LDMs），通过在预训练的自动编码器的潜在空间中应用扩散模型，显著降低了计算成本，同时保持了高分辨率图像合成的质量和灵活性，在多个图像合成任务中取得了先进的性能。
LDM: High-Resolution Image Synthesis with Latent Diffusion Models CVPR 2022
qq_53826699的博客
09-11 1927
通过将图像形成过程分解为降噪自编码器的顺序应用，扩散模型(DMs)在图像数据和其他数据上实现了最先进的合成结果。此外，它们的形成过程允许引导机制来控制图像生成过程而无需再训练。然而，由于这些模型通常直接在像素空间中操作，优化功能强大的DM通常会消耗数百个GPU数天，而且由于顺序计算，推理也非常昂贵。为了在有限的计算资源上进行DM的训练，同时保持其质量和灵活性，本文将其应用于预训练的自编码器的潜在空间。
【论文阅读】High-Resolution Image Synthesis with Latent Diffusion Models
weixin_57974242的博客
11-02 1万+
为了降低训练扩散模型的算力，LDMs使用一个Autoencoder去学习能尽量表达原始image space的低维空间表达（latent embedding），大大减少需要的算力。在RGB空间：编码器encoder：，将x压缩成低维表示解码器decoder: D，将低维表示z还原成原始图像空间。1. 加入Autoencoder（上图中左侧红色部分），使得扩散过程在latent space下，提高图像生成的效率；
High-Resolution Image Synthesis with Latent Diffusion Models 论文重点
qq_45373485的博客
12-05 3548
通过将图像生成过程分解为去噪编码器的迭代应用，扩散模型(DMs)在图像数据和其他数据上实现了最先进的合成结果。此外，它们的表述还提供了一种引导机制来控制图像生成过程，而无需再训练。然而，由于这些模型通常直接在像素空间中操作，优化功能强大的dm通常会消耗数百个GPU天，而且由于顺序计算，推理是昂贵的（耗时）。为了在有限的计算资源上进行DM训练，同时保持其质量和灵活性，我们将其应用于强大的预训练预编码的潜在空间。与以前的工作相比，在这种表示上训练扩散模型首次允许在复杂性减少和细节保留之间达到一个接近最优点，极大
【推荐系统】深度学习训练框架（五）：pyspark分布式TorchDistributor主从读取OSS文件认证机制
人工智能领域博客
11-28 1545
摘要： 本文详细解释了Spark Driver端与Worker端在OSS认证上的核心区别。Driver端通过Spark配置自动认证，而Worker端（独立Python进程）需显式提供认证信息。认证来源优先级为：1)Driver传递参数，2)环境变量，3)IAM角色。文章分析了架构差异导致的不同认证方式，并推荐从Driver传递认证信息的解决方案。当前实现已采用该方案，通过Spark配置或环境变量获取认证后传递给Worker进程，确保PyArrow能正确访问OSS数据。
信息检索13
2301_80828873的博客
11-26 2041
最近邻检索的方法，PQ，IVF,HNSW
向量嵌入：RAG系统背后的语义引擎
最新发布
uncle_ll的博客
11-29 981
向量嵌入技术将高维语义信息压缩为低维向量，使相似概念在向量空间中聚集。作为RAG系统的核心，嵌入质量直接影响语义检索效果。从静态词嵌入到动态上下文嵌入，技术不断演进，解决了多义词等难题。现代嵌入模型基于Transformer架构，通过对比学习优化检索性能。选型需考虑MTEB排名、语言支持等维度，并结合业务测试。未来趋势包括多模态融合、知识图谱增强和轻量化部署。嵌入技术已成为NLP领域的关键支柱，其优化对提升RAG系统性能至关重要。
RAG信息检索全解析：从Embedding到Reranker的超详细教程1
Trb201013的博客
11-27 1272
文章介绍了RAG系统中信息检索环节的核心技术，包括文档段落嵌入和用户查询嵌入，将文本转换为向量表示；详细解释了相似度检索的多种方法，如Top-K检索、MMR策略和Reranker二次排序技术；强调了合理切分策略对嵌入效果的重要性，以及查询扩展技术对提高检索准确度的作用。指出RAG的本质是"开卷考试"，检索质量直接影响最终生成效果。
【LoRA（低秩适应）技术详解：原理、公式与实践】
m0_46882548的博客
11-26 1510
参数高效：可训练参数量通常仅为全量微调的0.01% - 3%，极大降低了计算和存储成本。内存友好：由于大部分原始权重被冻结，无需存储其优化器状态，显著减少了训练时的显存占用。无推理延迟：训练后可将LoRA权重合并回原模型，推理速度与原始模型一致。模块化与灵活性：一个基础模型可以搭配多个针对不同任务的、体积很小（几兆字节）的LoRA适配器，轻松切换任务。减轻灾难性遗忘：因为原始权重基本不动，模型在适应新任务时更不容易遗忘预训练时获得的通用知识。
【LLM】DeepSeekMath-V2模型
发现问题，并解决问题，批判性思维
11-29 664
研究问题：这篇文章要解决的问题是如何在大型语言模型（LLMs）中进行自我验证的数学推理。具体来说，现有的基于最终答案奖励的强化学习方法在数学推理中存在根本局限性，因为正确答案并不能保证推理的正确性，特别是在定理证明任务中。 研究难点：该问题的研究难点包括：如何在不依赖最终答案的情况下验证推理的正确性；如何在生成和验证之间建立有效的迭代改进循环；如何在没有已知解决方案的开放问题上扩展测试时计算。 相关工作：该问题的研究相关工作有：OpenAI的推理模型在定量推理竞赛中取得了显著进展；DeepMind的Deep
卫星遥感落地林草监测：多源数据融合+AI算法
okk202586的博客
11-27 537
全面完善昌吉州林草资源网络感知体系，建立全州林草资源一体化综合管理平台，全面加强林草安全防火监测预警、有害生物防治信息化、林草资源监管能力，实现林草资源、安全防火、有害生物防控、林长制监督管理等。在不同区域、不同场景下的落地能力，案例可以充分说明，智慧林草并非单纯的技术堆砌，而是真正贴合林草业务流程、解决实际问题的“实战型”方案，太空守护林海正在变成可能~根据林草业务需要，建设林长制、资源监管、生态保护、生态修复、灾害防护、科技创新等六类业务系统，构建智慧林草综合监管业务系统体系，全面支撑林草业务。
教你使用服务器搭建一款一款端到端的开源 OCR 模型GOT-OCR2.0
m0_69484557的博客
11-25 500
GOT-OCR2.0 是一款真正专业级、可落地的端到端开源 OCR 模型，它让文档识别变得更智能、更精准、更高效。当你将它部署在莱卡云服务器上后，就拥有：一个稳定的 OCR 服务平台一个云端智能识别中心一个支持批量处理的高效工具一个可扩展的文档自动化系统。
High-Resolution Image Synthesis with Latent Diffusion Models复现
11-21
要复现《High-Resolution Image Synthesis with Latent Diffusion Models》的研究，可从以下方面开展： 1. **了解研究贡献与方法**：该研究提出在潜在表示空间上进行扩散过程的方法，减少计算复杂度，且能取得不错的图片生成效果。同时提出 cross - attention 方法实现多模态训练，支持类别条件图片生成、文图生成、布局条件图片生成等条件图片生成任务 [^1]。 2. **数据准备**：确定研究的具体任务，如无条件图片生成、图片修复、图片超分等，准备相应的数据集。不同任务对数据的要求和处理方式可能不同 [^1]。 3. **模型搭建**：搭建在潜在空间进行扩散过程的模型结构。模型应包含对原始图像在潜在空间上的处理流程，以及实现 cross - attention 操作的部分。具体而言，将加入的条件使用编码器进行特征提取，提取后作为 Cross - attention 的 KV，在 Unet 的流程中对潜在空间上的原始图像进行 Cross - attention 操作，以控制生成数据 [^1][^4]。 4. **训练模型**：使用准备好的数据集对模型进行训练。由于扩散模型是自回归模型，需要反复迭代计算，训练过程可能较为耗时和消耗计算资源。训练过程中需关注模型在不同任务上的表现，如无条件图片生成、图片修复、图片超分等任务 [^1]。 5. **实验验证**：在多个任务上进行实验，包括无条件图片生成、图片修复、图片超分、类别条件图片生成、文图生成、布局条件图片生成等，验证模型的效果 [^1]。 6. **评估指标**：使用合适的评估指标来衡量模型在各个任务上的性能，如在图像生成任务中可使用一些通用的图像质量评估指标。 ### 代码示例 以下是一个简单的伪代码示例，展示 cross - attention 部分的实现思路： ```python import torch import torch.nn as nn # 假设这里是 Cross - attention 模块 class CrossAttention(nn.Module): def __init__(self, dim): super().__init__() self.to_q = nn.Linear(dim, dim) self.to_k = nn.Linear(dim, dim) self.to_v = nn.Linear(dim, dim) self.scale = dim ** -0.5 def forward(self, x, condition): q = self.to_q(x) k = self.to_k(condition) v = self.to_v(condition) attn = torch.matmul(q, k.transpose(-2, -1)) * self.scale attn = torch.softmax(attn, dim=-1) out = torch.matmul(attn, v) return out # 示例使用 dim = 512 x = torch.randn(1, 10, dim) # 原始图像在潜在空间的特征 condition = torch.randn(1, 5, dim) # 条件特征 cross_attn = CrossAttention(dim) output = cross_attn(x, condition) print(output.shape) ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值