论文阅读：Scalable Diffusion Models with Transformers

Scalable Diffusion Models with Transformers

论文链接

介绍

传统的扩散模型基于一个U-Net骨架，这篇文章提出了一种新的扩散模型结构，将U-Net替换为一个transformer，并将这种结构称为Diffusion Transformers (DiTs)。他们还发现，transformer的规模越大（通过Gflops衡量），生成的图片的质量越好（FID越低）。
如图2所示，DiT的规模越大，图片生成的质量越好（左图），和当前流行的扩散模型相比，DiT的计算效率也表现优异。

相关工作

• Transformers：这篇文章研究了transformer作为扩散模型的骨架时，其规模的性质。
• Denoising diffusion probabilistic models (DDPMs)：传统的扩散模型都使用U-Net作为骨架，本文尝试使用纯transformer作为骨架。
• Architecture complexity：在结构设计领域，Gflops是常见的衡量结构复杂度的指标。

方法（Diffusion Transformers）

预备知识

• Diffusion formulation：扩散模型Diffusion Model（DM）在训练过程中，首先向图片中添加噪声，然后预测噪声来从图片中将噪声去除。这样，在推理过程中，首先初始化一个高斯噪声图片，然后去除预测的噪声，即可得到生成的图片。
• Classifier-free guidance：条件扩散模型引入了额外信息$c$（比如，类别）作为输入。而classifier-free guidance可以引导生成的图片$x$是类别$c$的概率$log($