Masked Diffusion Transformer: 强大的图像合成开源项目

Masked Diffusion Transformer: 强大的图像合成开源项目

MDT Masked Diffusion Transformer is the SOTA for image synthesis. (ICCV 2023) 项目地址: https://gitcode.com/gh_mirrors/mdt/MDT

1. 项目基础介绍

Masked Diffusion Transformer（MDT）是一个开源图像合成项目，由 sail-sg 组织在 GitHub 上维护。该项目主要使用 Python 编程语言，通过先进的深度学习技术实现高效的图像生成。

2. 项目核心功能

MDT 的核心功能是图像合成。它通过引入掩码潜在建模方案，增强了扩散概率模型（DPMs）在图像语义部分之间的上下文关系学习能力。MDT 在训练过程中操作于潜在空间，对某些令牌进行掩码处理，然后设计了一种不对称的扩散变换器，用于从未掩码的令牌预测掩码的令牌，同时保持扩散生成过程。MDT 能够从其不完整的上下文输入重建图像的完整信息，从而学习到图像令牌之间的关联关系。

3. 项目最近更新的功能

最近，项目团队推出了 MDT 的改进版本 MDTv2。MDTv2 在以下方面进行了更新：

• 优化了宏网络结构和训练策略，提高了图像合成的性能。
• 在 ImageNet 数据集上实现了新的最佳 FID 分数 1.58。
• 相比于前一个最佳方法 DiT，MDTv2 的学习速度超过 10 倍。
• 相比于原始的 MDT（MDTv1），MDTv2 展示了 5 倍的加速性能。

通过这些更新，MDT 项目在图像合成领域继续保持领先地位，为研究人员和开发者提供了强大的工具。

MDT Masked Diffusion Transformer is the SOTA for image synthesis. (ICCV 2023) 项目地址: https://gitcode.com/gh_mirrors/mdt/MDT