zzfive的博客

Flux.1 Kontext是将图像生成和编辑任务统一的生成流匹配模型，其通过整合文本和图像输入中的语义上下文，生成全新的输出视图。Flux.1 Kontext采用简单的序列拼接，在单一的统一架构中同时处理局部编辑和生成式上下文任务；其在多轮操作中对物体和字符有较强的保留能力，相较于其他SOTA编辑模型生成速度也更快；为了验证上述改进，论文提出了KontextBench，包含1026个图像-提示词对数据，覆盖局部编辑、全局编辑、字符参考、风格参考和文本编辑五类任务。

Flux.1模型的基础能力已经很强，但是局部生成、控制生成等方面仍不足，bfl随进一步训练，开发了Flux.1 Tools系列模型，包含四个模型，具体情况如下。Fill：根据文本描述和二进制掩码编辑或扩展输入图像，即Inpainting和Outpainting，是一个基模型Redux：一个能对输入图片进行细微变化或调整的Adapter模型，可以和所有Flux.1基模型组合使用Depth：可接受条件图像的深度信息控制生成图片，有基模型或lora模型。

Flux.1模型有三个版本，分别是pro、dev和schnell，三个模型性能依次递减，但生图效率依次提高。dev和schnell基于pro模型蒸馏而来，pro模型只能通过api访问，而dev、shcnell模型可获取具体权重，bfl并没有对Flux.1系列模型架构进行过多展示，只表明基于多模态和并行扩散 Transformer 模块的混合架构，参数扩展到了12B；通过基于流匹配范式训练，且引入旋转位置编码和并行注意力层来提高模型性能并提升硬件效率。图1 Flux.1模型架构图。

Stable Diffusion系列模型出现，极大推动了扩散模型、AI图片生成技术发展，但由于生成结果可控性差使得其主要流行于各种社区，难以直接应用于生产，不能实际落地。随着技术发展，模型基础能力越来越强，生成可控性也越来越好，但即使如今的Flux、SD3、MJ、GPT-4o等各系列模型中也没有完全解决此问题。在SD模型初期出现过各种提高控制性生成的方法，本文档对其中使用较广泛的三个进行简短说明。

DDPM将扩散模型在图片生成任务中做work后，大量研究人员开始对其进行迭代。虽然DDPM论文证明了扩散模型在图片生成任务中的潜力，但是其整体性能，特别是“有条件生成”，相较于当时的GAN系列模型还是存在差距，直到Openai的这篇论文出现，扩散模型在有条件图片生成任务上超过了GANs，而这篇论文对上篇论文中的核心思想进行优化，提高模型的性能和计算效率，该方法就是目前在扩散模型生成领域广泛使用的CFG。

在SDE的第二篇文章中提到过，SDE范式可以将DDPM和Score Matching整合到其范式中。起初笔者对这部分也不是很清晰，在看过B站Up主的视频后逐渐清晰，本文就基于该视频内容做一个文本性质的总结，感兴趣的读者可跳转到视频进一步了解。

我认为是有的，只不过是隐式的，不明显。我认为Flow matching中的前向过程并不是向扩散模型中通过定义显式的加噪分布来进行的，而是从目标分布中的数据推导出先验分布中的数据这一流动作实现的。说到这里，可能有的读者已经意识到了我想表达的内容，即从上述公式(1)推导公式(2)的过程中，我们利用了流的可逆性质，因为流可逆，所以基于公式(1)，有。就是一个从标准正态分布中采样的一个随机噪声，就是先验分布中的一个数据样本，即我们在公式(2)的推导过程中其实是隐式的使用了一个从目标分布到先验分布的。

ut​。

相信很多读者自己学习或在看完上一篇文章后，对SDE实际如何使用情况还是不清楚。其实，因为SDE是随机微分方程，所以其与DDPM中加噪的方差其实都是人为设定的，相当于超参数。所以在训练前就需要将SDE具体形式定义好，在此将SDE定义为dxσtdωt∈01(1)dxσtdωt∈011公式(1)中丢弃了SDE定义中的漂移部分，只设置了扩散部分。此时已将时间区间正则化，即范围为[0,1]，也知道了dxdxdx随时间变化的公式，因为当前加噪是连续过程，故xt。

假设有一组正等比数列σii1Lσi​i1L​，满足σ1σ2⋯σL−1σL1σ2​σ1​​⋯σL​σL−1​​1。qσxΔ∫pdaratNx∣tσ2Idtqσ​xΔ∫pdara​tNx∣tσ2Idt表示扰动后的数据分布。σi\sigma_iσi​就表征不同的噪声等级，σ1\sigma_1σ1​。

因优快云正文字数限制，只能拆分为两个文档，接上文继续文章目录无中生有的目标分布设计感强但有效的损失函数无中生有的目标分布如果我们有过模型训练经验，那就一定知道，需要有一个目标值或GT值与模型预测值计算损失才能实现训练闭环。在前文中我们说到，DDMP就是对“能基于xtx_txt​计算出xt−1x_{t-1}xt−1​”的逆向分布过程建模，模型训练预测出的分布用pθ(xt−1∣xt)p_{\theta}(x_{t-1}|x_t)pθ​(xt−1​∣xt​)表示，那与预测分布进行比较的目标分布应该如何表示

从右到左，是加噪过程，或称为前向过程/正向过程，每一步对上一步随机增加一点噪声，经过T步后，原始图片完全变成一个噪声分布，一般假设是一个标准正太分布，这一过程可由条件概率。如果我们现在只有一批图片数据，从认知上来讲，从随机噪声生成图片是不可能的，此时就用到了引言中提到的，缺什么，就用深度学习去训练。即，有两个高斯分布，DDPM中T为1000，一步一步计算是慢的，但基于马尔可夫过程，使用重参数化技巧，能实现一步到位，即给定。生成过程，是去噪过程，或称为逆向过程，是从随机噪声出发，一步步减少噪声，即从。

在该框架内，探索了许多关键设计选择之间的权衡：连续或离散时间模型的选择、插值的选择、模型预测的选择以及采样器的选择。DiT团队最近刚好发布了基于DiT架构研究扩散模型插值技术的论文，简称为SiT，论文行文较难理解，感兴趣的读者推荐阅读官方的技术报告，见顶部链接，本文也主要基于技术报告进行初略的解释，因为内容涉及较多公式变换，如有错误，请告知。对应于由不同时间相关函数加权的普通去噪目标的扩散模型的不同模型预测，训练了所有三个模型并给出了下面的结果。相同时，扩散和基于流的方法共享相同的时间演化过程已被证明；

将 Stable Diffusion 3 的输出图像与其他各种开放模型（包括 SDXL、SDXL Turbo、

stable diffuison论文阅读

Improved Techniques for Training Score-Based Generative Models论文阅读

IDDPM官方gituhb项目--模型构建

SDE论文阅读

IDDPM官方gituhb项目--采样