stable diffusion推理过程代码梳理

已于 2023-07-09 21:22:27 修改
阅读量3k 收藏 39
点赞数 22
文章标签： stable diffusion
于 2023-05-19 23:56:57 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/m0_55764111/article/details/130770429
版权

最近在看stable diffusion，想梳理一下代码流程，以便之后查阅

从txt2img.py开始看

1.首先是对文本进行编码

（1）调用的是 stable-diffusion/ldm/models/diffusion/ddpm.py的get_learned_conditioning函数

（2） 第555行表示使用CLIP的文本编码器对输入的文本进行编码，调用的是stable-diffusion/ldm/modules/encoders/modules.py中的FrozenCLIPEmbedder类

 2.进行采样操作

 （1）调用plms中的采样操作，在stable-diffusion/ldm/models/diffusion/plms.py中

生成时间步长self.ddim_timesteps= [  1  21  41  61  81 101 121 141 161 181 201 221 241 261 281 301 321 341 361 381 401 421 441 461 481 501 521 541 561 581 601 621 641 661 681 701 721 741 761 781 801 821 841 861 881 901 921 941 961 981] 

 （2）调用self.plms_sampling函数 

时间步的循环是从这里开始的

调用self.p_sample_plms函数

 调用stable-diffusion/ldm/models/diffusion/ddpm.py的apply_model函数

调用同文件下的DiffusionWrapper类，key="crossattn",c_crossattn=torch.cat([unconditional_conditioning, c])

 调用了stable-diffusion/ldm/modules/diffusionmodules/openaimodel.py里面的UnetModel类

self.input_blocks的定义为

TimestepEmbedSequential的定义为

其中，TimestepBlock类型的layer为ResBlock，TimestepEmbedSequential的结构图可以表示成下图。

 

ResBlock的代码如下

SpatialTransforme在stable-diffusion/ldm/modules/attention.py中定义如下

BasicTransformerBlock展示了图像和文本的融合过程

 CrossAttention的定义如下，图像作为Q,文本作为K和V

 UNetModel的模型结构可参考如下Stable Diffusion 原理介绍与源码分析（一） - 知乎 (zhihu.com)

2.关于图像解码部分

得到去噪后的图像特征后进行解码

调用的是ddpm中的decode_first_stage函数 ，调用AutoencoderKL中的解码器

AutoencoderKL的解码器输出的就是最后的图像

想要了解更多扩散模型的知识，推荐这个视频54、Probabilistic Diffusion Model概率扩散模型理论与完整PyTorch代码详细解读_哔哩哔哩_bilibili

chengamoo
关注
揭秘 Stable Diffusion：利用 AI 智能绘图功能，打造出具有创意性的平面设计作品——AI 作图神器 Stable Diffusion 有哪些强大功能？应用案例详解
AI天才研究院
06-12 3万+
在当今数字化时代，人工智能技术已经深入到我们的生活中的各个领域。其中，AI 智能绘图功能已经成为了许多设计师和创意工作者的必备工具。今天，我们将为大家揭秘一款备受关注的 AI 作图神器 Stable Diffusion，它具有哪些强大的功能和特点。Stable Diffusion 是一款基于开发的作图神器，具有许多强大的功能，包括：1.：Stable Diffusion 可以智能识别用户上传的图片，并自动调整图片质量和色彩，让图片更加清晰、饱满。
【Stable Diffusion原理】硬核解读Stable Diffusion（完整版）
最新发布
m0_59162248的博客
04-30 795
2022年可谓是AIGC（AI Generated Content）元年，上半年有文生图大模型DALL-E2和，下半年有OpenAI的文本对话大模型ChatGPT问世，这让冷却的AI又沸腾起来了，因为AIGC能让更多的人真真切切感受到AI的力量。这篇文章将介绍比较火的文生图模型Stable Diffusion（简称SD），Stable Diffusion不仅是一个完全开源的模型（代码，数据，模型全部开源），而且是它的参数量只有1B左右，大部分人可以在普通的显卡上进行推理甚至精调模型。
【stable diffusion原理】一文读懂Stable Diffusion论文原理+代码超详细解读
z19981的博客
04-16 1058
Stable Diffusion是一个基于Latent Diffusion Models（LDMs）实现的以文生图（text-to-image generation）模型，能够生成高分辨率图像。它的原理涉及Diffusion Model（DDPM）、Attention机制和Autoencoder技术。Stable Diffusion的原理在于在潜在空间进行扩散过程，而非直接在数据空间。本文提供了对Stable Diffusion模型原理和代码实现的详细解读。
Stable Diffusion原理详解（附代码实现）
2401_85963303的博客
07-03 1262
回顾AI绘画的历史，GAN（Generative Adversarial Nets）是比较出众的一个。GAN的出现让AI绘画成为可能，当时GAN给AI绘画提供了一种新的思路，现在回顾当时的绘画可以算是相当粗糙。初代GAN出现后，出现了大量GAN的变种，比如StyleGAN、CycleGAN、DCGAN等。而StyleGAN已经可以生成非常逼真的图像了，下面是StyleGAN的一些结果。GAN提出已经过去十年，AI绘画也得到了颠覆性的进步。
【生成模型】Stable Diffusion原理+代码
热门推荐
qq_45752541的博客
02-17 1万+
Stable diffusion是一个基于（潜在扩散模型，LDMs）的文图生成（text-to-image）模型。具体来说，得益于的计算资源支持和在LAION-5B的一个子集数据支持训练，用于文图生成。通过在一个潜在表示空间中迭代“去噪”数据来生成图像，然后将表示结果解码为完整的图像，让文图生成能够在消费级GPU上，在10秒级别时间生成图片。目前，Stable Diffusion发布了v2版本。
非常好的sd代码讲解，Stable Diffusion基础代码讲解，以及各种示例代码效果演示
zhudatiankong的专栏
04-25 888
Stable Diffusion基础代码讲解，以及各种示例代码效果演示
Stable Diffusion 源码解析（1）
ZhengrongYue的博客
12-11 7072
Stable Diffusion 源码解析（1）
Stable Diffusion XL之使用Stable Diffusion XL训练自己的AI绘画模型
weixin_43056275的博客
03-25 5251
其中config_file.toml文件中的配置文件包含了sdxl_arguments，model_arguments，dataset_arguments，training_arguments，logging_arguments，sample_prompt_arguments，saving_arguments，optimizer_arguments以及additional_network_arguments九个个维度的参数信息。但是切记不能在多尺度增强的时候将图片的主体特征裁剪掉（比如人脸，建筑等）。
天才程序员周弈帆 | Stable Diffusion 解读（二）：论文精读
csdn_xmj的博客
06-10 3691
简单来说，Stable Diffusion是一个两阶段的图像生成模型，它先用一个AE压缩图像，再在压缩图像所在的隐空间上用DDPM生成图像。在这篇文章中，我们来精读Stable Diffusion的论文：High-Resolution Image Synthesis with Latent Diffusion Models。
Stable Diffusion算法、结构全流程概述
lanlin的博客
02-22 1622
Stable Diffusion能力强、功能多、插件广，本文拟概述SD的全流程，方便梳理算法各结构的关系。
又一个开源第一！飞桨联合百舸，Stable Diffusion推理速度遥遥领先
百度大脑
03-07 487
AIGC(AI Generated Content)，即通过人工智能方法生成内容，是当前深度学习最热门的方向之一。其在绘画、写作等场景的应用也一直层出不穷，其中，AI绘画是大家关注和体验较多的方向。Diffusion系列文生图模型可以实现AI绘画应用，其一经推出就受到广泛关注，开启了一波“全民调教AI作画”的潮流，激起了大量的应用需求。与此同时，百度推出的知识增强跨模态大模型——文心ERNIE-V...
Stable Diffusion文生图模型训练入门实战（完整代码）
SoulmateY的博客
06-17 1万+
（SD1.5）是由Stability AI在2022年8月22日开源的文生图模型，是SD最经典也是社区最活跃的模型之一。以SD1.5作为预训练模型，在火影忍者数据集上微调一个火影风格的文生图模型（非Lora方式），是学习的入门任务。显存要求 22GB左右在本文中，我们会使用模型在数据集上做训练，同时使用监控训练过程、评估模型效果。
stable diffusion文生图代码解读
Qiming的博客
07-24 1390
stable diffusion 文生图代码解读
Stable Diffusion 原理介绍与源码分析（二、DDPM、DDIM、PLMS算法分析）
珍妮的选择的博客
03-19 9999
本文对 Stable Diffusion 主要使用的如 DDPM、DDIM、PLMS 等算法进行分析，详解其代码实现。
Stable Diffusion代码简介
满目星辰
09-11 969
Stable Diffusion是一个开源的实时数据流处理引擎，用于处理流式数据。其web UI提供了一个可视化界面来展示数据流的处理过程。
【Diffusion实战】基于Stable Diffusion实现文本到图像的生成（Pytorch代码详解）
风巽·剑染春水的博客
05-16 4665
来试试强大的Stable Diffusion吧，基于Stable Diffusion的pipeline，进一步了解Stable Diffusion的结构~
从核心技术、训练方法、应用挑战三个维度，系统梳理大语言模型（LLM）领域的核心知识点，覆盖提示词工程、注意力机制、位置编码、参数高效微调技术、幻觉问题、对齐难度、无监督学习、token、卷积神经算法、Agent、多模态等知识点，请尽可能多补充知识点，并结合最新技术进展与实践案例，形成全维度知识体系：
04-19
<think>嗯，用户想要系统梳理大语言模型的核心知识点，包括各种技术、训练方法和应用挑战，还要结合最新进展和案例。首先，我需要确定覆盖哪些主要技术点。用户提到了提示词工程、注意力机制、位置编码、参数高效微调、幻觉问题、对齐难度、无监督学习、token、CNN、Agent、多模态等等。这些都是LLM的关键部分。 首先，提示词工程。这部分需要解释清楚什么是提示词工程，它的作用，以及实际应用案例。比如Chain-of-Thought和Few-shot prompting，这些都是比较新的技术，像GPT-4和Claude的应用案例应该提到。还要注意用户提到的参考引用，比如引用[1]里关于幻觉的问题，可能需要在这里关联一下。 然后是注意力机制，特别是Transformer的自注意力机制。这部分需要详细解释缩放点积注意力，多头注意力的结构，以及最新的改进如FlashAttention。可能需要举一些例子，比如BERT和GPT的架构差异，或者最新的模型如Mistral-7B如何优化注意力机制。 位置编码部分，要区分绝对位置编码和相对位置编码，比如RoPE和ALiBi。用户提到结合最新进展，比如LLaMA2使用的RoPE，这里可以引用相关模型的信息，不过用户提供的引用中没有直接提到，可能需要依赖已有的知识。 参数高效微调技术，比如LoRA、Adapter、Prompt Tuning。这部分需要说明各自的原理和优势，比如LoRA在减少参数量方面的效果，结合实践案例，比如Stable Diffusion中使用LoRA，或者Meta的LLaMA-Adapter应用。引用[3]提到了分布式训练和框架，可能可以关联到训练方法的部分。 幻觉问题和对齐难度是用户特别提到的挑战。需要引用[1]和[2]中的内容，特别是LLM的幻觉来源，比如训练数据的错误和多模态中的对齐问题。比如引用[2]讨论的MLLM中的幻觉，可以提到MiniGPT-4的例子，以及如何通过局部特征对齐来缓解问题。 无监督学习部分，重点在预训练目标和数据增强。比如BERT的MLM和GPT的自回归，以及最新的ELECTRA和T5模型。这部分需要结合最新的模型进展，比如PaLM和Chinchilla的训练策略。 Tokenization方面，需要解释不同的分词方法，如BPE、WordPiece、Unigram，以及它们对模型性能的影响。比如GPT-4使用改进的BPE，处理多语言时的挑战。 卷积神经网络在LLM中的应用可能较少，但可以提到轻量化设计中的结合，比如MobileBERT或ConvBERT，或者多模态中的CNN处理视觉特征。这部分可能需要简要带过，因为用户可能更关注Transformer相关的内容。 Agent部分，需要说明自主决策和工具调用的能力，比如AutoGPT和Meta Toolformer，以及微软的TaskMatrix。这些案例展示了Agent在实际应用中的潜力。 多模态方面，结合引用[2]的内容，讨论MLLM的挑战，如视觉与文本的对齐问题，以及解决方案，如Flamingo、BLIP-2和LLaVA。需要提到幻觉问题在MLLM中的严重性，以及如何通过局部特征和增强理解来改进。 最后，应用挑战部分，要总结幻觉、对齐、多模态、计算成本等问题，并引用最新的研究方向和解决方案，比如知识蒸馏、RLHF、MoE架构等。 需要注意用户的引用材料，特别是幻觉和对齐的部分，确保在回答中正确引用。例如，引用[1]提到LLM的幻觉来自概率模型和训练数据，而引用[2]讨论MLLM中的视觉与文本对齐问题。需要自然地融入这些引用，帮助增强回答的可信度。 另外，用户要求使用中文，数学公式用$...$和$$...$$格式。例如，在解释注意力机制时，要正确使用LaTeX，如缩放点积注意力的公式。同时，生成的相关问题需要覆盖各个核心知识点，帮助用户进一步深入学习。 总结一下，需要分模块逐一解释每个技术点，结合最新模型和案例，正确引用提供的资料，并确保格式正确。同时，生成的问题要针对每个部分，帮助用户扩展思考。</think>以下是大语言模型（LLM）核心技术知识点系统总结，结合最新研究进展与实践案例： --- ### 一、核心技术模块 1. **提示词工程** - 核心方法：零样本提示（Zero-Shot）、小样本提示（Few-Shot）、思维链（Chain-of-Thought） - 实践案例：GPT-4通过指令微调实现复杂推理任务[^1]，Claude 3采用结构化模板提升代码生成能力 - 最新进展：*Program-Aided Language Models*（PAL）将自然语言指令映射为可执行代码逻辑 2. **注意力机制** - 数学表达：缩放点积注意力 $$ \text{Attention}(Q,K,V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V $$ - 创新方向：FlashAttention-2优化GPU显存利用率，Mistral-7B采用滑动窗口注意力降低计算复杂度 - 多模态扩展：Flamingo模型通过交叉注意力融合文本与图像特征[^2] 3. **位置编码** - 绝对编码：Transformer原始正余弦函数 $PE_{(pos,2i)}=\sin(pos/10000^{2i/d})$ - 相对编码：RoPE（旋转位置编码）在LLaMA2中实现长文本建模，ALiBi（注意力线性偏置）支持动态扩展上下文窗口 --- ### 二、训练方法体系 1. **参数高效微调** | 技术 | 参数量占比 | 典型应用 | |------------|------------|-------------------------| | LoRA | <5% | Stable Diffusion微调 | | Adapter | 3-10% | LLaMA-Adapter多任务学习 | | Prompt Tuning | 0.1% | T5文本生成优化 | 2. **无监督预训练** - 目标函数：掩码语言建模（MLM）、自回归预测（AR）、对比学习（如SimCSE） - 数据增强：PaLM使用去重后的1.56T token数据集，Chinchilla验证数据量与模型规模的平衡法则 3. **分布式训练** - 并行策略：张量并行（Megatron-LM）、流水线并行（GPipe）、数据并行（DeepSpeed-Z3）[^3] - 案例：Meta训练LLaMA3时采用8D混合并行策略，通信开销降低40% --- ### 三、核心挑战与解决方案 1. **幻觉问题** - 根源：训练数据噪声（如引用[1]所述）、推理时过度依赖频率先验 - 解决方案：检索增强（RAG）、事实一致性约束（如DELLLA的置信度校准） - 多模态场景：BLIP-2通过Q-Former对齐视觉-语言特征空间[^2] 2. **对齐难题** - RLHF三阶段：监督微调→奖励建模→强化学习（ChatGPT实践路径） - 最新方法：DPO直接偏好优化替代传统RLHF，训练效率提升6倍 3. **多模态挑战** - 视觉-语言对齐：LLaVA采用CLIP视觉编码器+MLP适配器，MiniGPT-4通过两阶段训练缓解幻觉[^2] - 视频理解：Video-LLaMA引入时间注意力模块处理时序信息 --- ### 四、前沿技术融合 1. **Agent系统** - 工具调用：Toolformer通过API接口实现计算器调用、搜索引擎访问 - 案例：AutoGPT实现任务分解与递归执行，Microsoft TaskMatrix支持多模态交互 2. **MoE架构** - Mixtral-8x7B采用稀疏激活机制，推理速度提升5倍 - 路由算法改进：Expert Choice实现负载均衡，吞吐量提升30% 3. **轻量化部署** - 量化：GPTQ实现4-bit量化精度损失<1% - 编译优化：vLLM框架的PagedAttention技术，服务吞吐量提升24倍 ---
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值