2025_NIPS_Scaling Diffusion Transformers Efficiently via µP

文章核心总结与翻译

主要内容

文章聚焦扩散Transformer的高效缩放问题，核心是将最大更新参数化（μP）从标准Transformer推广到扩散Transformer。通过理论证明DiT、U-ViT、PixArt-α、MMDiT等主流扩散Transformer与标准Transformer的μP形式一致，实现超参数（HP）从小型模型到大型模型的直接迁移，大幅降低调优成本。实验验证显示，DiT-μP收敛速度提升2.9倍，PixArt-α（0.04B→0.61B）和MMDiT（0.18B→18B）在仅需少量调优成本（分别为5.5%训练量、3%人工调优成本）的情况下，性能均超越基线模型。

创新点

1. 理论突破：首次通过Tensor Programs技术证明主流扩散Transformer的μP与标准Transformer兼容，为μP的直接应用提供理论依据。
2. 高效缩放：验证μP在扩散Transformer中具备稳健的超参数迁移能力，支持跨宽度、批次大小和训练步骤的迁移。
3. 大规模验证：在文本到图像生成任务中，成功将模型从数十亿参数扩展至18B参数，且性能更优、调优成本极低。

---

翻译部分（Markdown格式）