Flux.1系列模型解析--Kontext

论文链接：FLUX.1 Kontext: Flow Matching for In-Context Image Generation and Editing in Latent Space

简介

Flux.1 Kontext是将图像生成和编辑任务统一的生成流匹配模型，其通过整合文本和图像输入中的语义上下文，生成全新的输出视图。Flux.1 Kontext采用简单的序列拼接，在单一的统一架构中同时处理局部编辑和生成式上下文任务；其在多轮操作中对物体和字符有较强的保留能力，相较于其他SOTA编辑模型生成速度也更快；为了验证上述改进，论文提出了KontextBench，包含1026个图像-提示词对数据，覆盖局部编辑、全局编辑、字符参考、风格参考和文本编辑五类任务。评估结果表明，FLUX.1 Kontext 在单轮质量和多轮一致性方面均表现卓越。
Flux.1 Kontext是一个简单的流匹配模型，仅通过在上下文和指令拼接的tokens序列上基于速度预测目标训练而成，有以下优点：

• 角色一致性：在角色保留方面表现出色，在多轮迭代编辑中仍能保持角色的一致性
• 生成速度：无论是文生图还是图生图，推理硬件性能足够时，生成 1024×1024 图像均能达到 3-5 秒的速度
• 迭代式应用：快速的推理速度和稳健的一致性，使用户能够通过多次连续编辑来优化图像，且视觉偏差极小

具体实现

Flux.1 Kontext模型的目标是训练一个可以基于文本提示词和一系列参考图片的联合特征生成图片的模型，更正式的表达是通过训练逼近以下条件分布：
KaTeX parse error: \tag works only in display equations
其中 $x$为目标图像， $y$为上下文图像或空集 $\varphi$， $c$为自然语言形式的指令。与传统的文生图不同，公式(1)这个目标学习图像之间通过条件 $c$所建立的关系，从而使同一个网络能够实现，当 $y\ne \varphi$时可执行图像编辑任务，当 $y=\varphi$时执行全新的图片生成任务。

架构图

记目标输出图片的集合为 $\mathcal{X}$，公式(1)中的输入 $x\in \mathcal{X}$，可选的上下文图像 y ∈ X ∪ { ϕ } y \in \mathcal{X} \cup \{\phi\} y∈X∪{