2025_NIPS_Representation Entanglement for Generation: Training Diffusion Transformers Is Much Easier

文章核心总结与翻译

一、主要内容

该研究针对扩散模型（尤其是扩散Transformer）训练收敛慢、生成质量与判别性表征利用不足的问题，提出了一种名为Representation Entanglement for Generation（REG） 的高效框架。其核心思路是将预训练基础模型的高层类别令牌（class token）与低层图像潜变量进行“纠缠”，通过同步噪声注入和空间拼接，让判别性语义信息全程参与去噪过程，从而同时提升生成质量、加速训练收敛，并增强模型的判别性语义学习能力。

研究基于Scalable Interpolant Transformers（SiT）架构，在ImageNet 256×256和512×512数据集上进行了充分验证。结果显示，SiT-XL/2 + REG的训练收敛速度比SiT-XL/2快63倍，比SiT-XL/2 + REPA快23倍；仅训练400K迭代的SiT-L/2 + REG性能超过训练4M迭代的SiT-XL/2 + REPA，且额外计算开销不足0.5%（FLOPs和延迟）。

二、创新点

1. 表征纠缠机制：首次将预训练模型的高层类别令牌与低层图像潜变量进行纠缠，通过同步噪声注入和空间拼接，使判别性语义信息直接作为输入参与训练和推理，解决了REPA等方法在推理阶段缺乏外部对齐、无法充分利用判别性信息的缺陷。
2. 联合重建设计：推理过程中同时重建图像潜变量及其对应的全局语义，让语义知识全程引导图像生成，而非仅在训练阶段提供间接对齐。<