Continuous Latent Diffusion Language Model

论文总结与翻译：Continuous Latent Diffusion Language Model（arXiv:2605.06548）

一、核心总览

• 论文标题：Continuous Latent Diffusion Language Model（Cola DLM）
• 机构：字节跳动Seed团队、香港大学、澳大利亚国立大学、北京大学、中国人民大学
• 核心定位：分层连续隐空间扩散语言模型，打破自回归左到右生成范式，将文本生成分解为全局语义建模与局部文本实现。

---

二、主要内容

1. 问题提出
   自回归大模型生成顺序固定、推理串行；离散扩散多步采样昂贵、难建模全局语义；现有连续扩散多聚焦token对齐恢复，未统一非自回归、连续表征与概率建模。
2. 模型框架

• Text VAE：建立文本到连续隐变量的稳定映射。
• Block‑Causal DiT：在连续隐空间建模全局语义先验，支持块内并行、块间因果保持。
• 条件解码器：从隐变量生成离散文本，扩散用于隐先验迁移而非token观测恢复。