2025_NIPS_On Inductive Biases That Enable Generalization of Diffusion Transformers

一、文章主要内容总结

该研究聚焦于扩散Transformer（DiT）模型泛化能力背后的归纳偏置，核心内容如下：

1. 研究背景：扩散模型（尤其是DiT）在训练数据有限时仍能实现高质量生成，但其泛化能力的底层机制尚不明确。此前针对UNet的研究通过雅可比矩阵特征分解发现几何自适应谐波基是关键归纳偏置，但该方法因DiT含非线性操作而失效。
2. 核心发现：DiT的泛化能力与注意力图的局部性紧密相关——训练数据充足时，DiT早期层的注意力图呈现稀疏对角模式，输出token主要受相邻输入token影响；而训练数据不足时，注意力图呈位置不变模式，泛化能力较弱。
3. 验证与优化：通过在DiT早期层引入局部注意力窗口（限制输出token仅关注邻近输入），可显著增强注意力局部性。实验表明，该操作能降低PSNR间隙（泛化能力指标），并在训练数据不足时提升FID、IS等生成质量指标。
4. 关键影响因素：局部注意力的放置位置（早期层最优）和窗口大小（较小窗口增强泛化，较大窗口提升数据拟合）对效果起决定性作用，该结论在CelebA、ImageNet、MSCOCO、LSUN等多个数据集上得到验证。

二、文章创新点

1. 揭示DiT的核心归纳偏置：首次发现注意力图局部性是DiT泛化的关键，突破了此前UNet基于谐波基的分析