DIFFUSION TRANSFORMERS WITH REPRESENTATION AUTOENCODERS

这篇论文对扩散Transformer（DiT）的潜在空间构建提出了突破性改进，核心是用表征自编码器（RAE）替代传统VAE，既解决了VAE的固有缺陷，又实现了生成效率与质量的双重提升。

一、文章主要内容总结

1. 现有问题：当前DiT依赖传统VAE构建潜在空间，存在三大局限——卷积骨干架构过时且复杂、潜在空间维度低导致信息容量不足、纯重建导向训练使表征能力弱，最终限制生成质量。
2. 核心方案：提出表征自编码器（RAE），用预训练表征编码器（如DINO、SigLIP、MAE）作为冻结编码器，搭配轻量级训练解码器，构建语义丰富且高维度的潜在空间。
3. 关键优化：针对RAE高维潜在空间适配DiT的难题，提出三项关键技术：
   • 让DiT宽度匹配RAE的token维度，确保模型能拟合高维数据；
   • 采用维度依赖的噪声调度偏移，适配高维语义token的噪声特性；
   • 噪声增强解码器训练，提升解码器对扩散生成的含噪潜在向量的鲁棒性。
4. 模型改进：设计DiTⁿᴴ架构，在标准DiT基础上增加轻量宽DDT头，实现模型宽度扩展且避免计算量二次增长。
5. 实验结果：在ImageNet数据集上，DiTⁿᴴ搭配RAE实现SOTA性能——256×256分辨率下无引导FID 1.51、有引导FID 1.13，512×512分辨率有引导F