2025_NIPS_SparseDiT: Token Sparsification for Efficient Diffusion Transformer

SparseDiT 文章总结与翻译

一、主要内容总结

1. 研究背景与问题

扩散Transformer（DiT）模型在视觉生成任务中表现出色，但存在显著的计算效率问题：自注意力机制的二次复杂度以及采样过程需大量步骤，导致计算成本高昂。现有优化多聚焦于加速采样过程，却忽视了DiT架构本身的低效问题，而U-Net的收缩-扩张结构无法直接迁移到DiT中，因此需要针对DiT设计专属的效率优化方案。

2. 核心发现

通过分析DiT的注意力分布，得出三大关键洞察：

• 底层注意力图分布均匀，侧重全局特征提取，类似全局池化；
• 中层在全局结构与局部细节提取间交替切换，且该模式在所有采样步骤中保持一致；
• 随着去噪过程推进，模型对局部细节的关注度逐渐提升，注意力方差增大。

3. 核心方案：SparseDiT

提出一种结合空间和时间维度令牌稀疏化的框架，平衡效率与生成质量：

• 空间维度（分层架构）：
  • 底层：采用Poolingformer替代自注意力，通过全局平均池化高效提取全局特征，降