2025_NIPS_Continuous Diffusion Model for Language Modeling

文章核心总结与创新点

核心内容

本文提出黎曼扩散语言模型（RDLM），一种基于统计流形几何特性的连续扩散模型，用于语言建模及离散数据生成。该模型建立了离散扩散与统计流形上连续流的关联，通过将离散数据重新参数化为超球面的连续状态，解决了离散扩散模型在迭代优化中信号丢失的问题。同时设计了无模拟训练框架和维度拆分技术，在文本生成、图像建模、DNA序列设计等任务中，表现优于现有离散和连续扩散模型，接近自回归模型性能。

主要创新点

1. 理论关联构建：首次建立离散扩散过程与统计流形上连续流的严格对应关系，证明离散扩散的转移分布可建模为流形上的条件流，实现对现有离散扩散模型的泛化。
2. 连续参数化方案：利用微分同胚映射将离散数据映射到超球面正卦限，保留分类分布几何特性，避免边界数值不稳定性，支持充分的迭代优化。
3. 无模拟训练框架：基于径向对称性设计训练方案，通过黎曼正态分布近似转移分布，无需模拟桥过程，训练速度提升50倍；结合交叉熵损失和重要性采样，保障最大似然优化与训练效率。
4. 灵活生成过程设计：提出掩码扩散、均匀扩散及其混合路径，支持多样化生成行为；引入维度拆分技术，解决大词汇量场景下的高维流形学习难题。
5. 多模态适配能力：统一文本、图像、生物序列等离散数据的生成框架，验证了模型在跨模态任务中的通用性和有效性。

---