Dimba: Transformer-Mamba Diffusion Models————3 Methodology

图解

图片中的每个模块详解

1. 文本输入 (Text)

• 描述：输入的文本描述了一个具有具体特征的场景。
• 功能：提供关于要生成图像的详细信息。

2. T5 模型 (Text to Feature)

• 描述：使用 T5 模型将文本转换为特征向量。
• 功能：提取文本中的语义信息，为后续的图像生成提供条件。

3. 图像输入 (Image)

• 描述：输入图像通过变分自编码器 (VAE) 编码器处理。
• 功能：将图像转换为潜在表示，用于添加噪声并进行扩散过程。

4. 添加噪声 (Add Noise)

• 描述：在潜在表示上添加噪声。
• 功能：作为扩散模型生成图像的初始步骤。

5. 时步信息 (Time t)

• 描述：表示扩散过程中的时间步。
• 功能：时间步信息通过共享 MLP 投影，并插入到不同的自适应归一化层（AdaLN）中。

6. 多层感知器 (MLP)

• 描述：共享的多层感知器，用于处理时间步信息。
• 功能：增强时间步信息的表示能力。

7. Dimba 块 (Dimba Block)

• 描述：Dimba 模型的基本单元，包含多个模块。
• 功能：逐层处理输入特征，生成高质量的图像。

8. 自适应归一化层 (AdaLN)

• 描述：自适应归一化层，用于每个子模块之前和之后。
• 功能：帮助稳定大规模模型的训练，提高训练效果。

9. 前馈网络 (FeedForward)

• 描述：标准的前馈神经网络层。
• 功能：对输入特征进行非线性变换，增强特征表达能力。

10. 双向 Mamba 层 (Bi-Mamba)

• 描述：多个 Mamba 层按照比例 K 堆叠。
• 功能：处理长序列数据，减少内存使用，提高计算效率。

11. 交叉注意力模块 (Cross-Attention)

• 描述：将文本特征与图像特征进行整合的注意力机制。
• 功能：增强文本和图像特征之间的语义一致性。

12. 自注意力模块 (Self-Attention)

• 描述：标准的自注意力层。
• 功能：捕捉输入特征中的全局依赖关系，提高特征的表达能力。