Flux.1系列模型解析--Flux.1 Tools

简介

Flux.1模型的基础能力已经很强，但是局部生成、控制生成等方面仍不足，bfl随进一步训练，开发了Flux.1 Tools系列模型，包含四个模型，具体情况如下。

• Fill：根据文本描述和二进制掩码编辑或扩展输入图像，即Inpainting和Outpainting，是一个基模型
• Redux：一个能对输入图片进行细微变化或调整的Adapter模型，可以和所有Flux.1基模型组合使用
• Depth：可接受条件图像的深度信息控制生成图片，有基模型或lora模型
• Canny：可接受条件图像的canny线条信息控制生成图片，有基模型或lora模型

Fill

与常规的painting模型相同，Flux.1 Fill dev模型基于Flux.1 dev全量微调而来，并且因为掩码图片mask的引入，flux backbone的in_channels参数与Flux.1 dev初始化时不同。Flux.1 Fill dev模型采样时的图片特征具体构建步骤是，先将条件图片和掩码图片(可认为通道数为1)的像素值归一化，然后将条件图片和掩码图片耦合得到条件图片，即确定选区，然后使用VAE的编码器从条件图片中提取条件特征向量，假设像素空间中图片的尺寸为 $[H,W,3]$，那么条件特征相邻的尺寸为 $[\frac{H}{8},\frac{W}{8},16]$；再对条件特征向量进行分块、离散为序列，即将其划分为 $2\ast 2$的patch并拉长为序列，尺寸变为$[\frac{H}{16},\frac{W}{16},64]$。此外，掩码图片mask也应该包含在输入中，对于mask并没有进行编码进行特征提取，故为了保证其能与离散后的特征向量在最后一个维度拼接，直接将其尺寸转换为 [ H 16 , W 16 , 256 ] [\frac{H}{16},\frac{W}{16},256] [16H​,