Dream 7B: Diffusion Large Language Models

Dream 7B论文总结与关键部分翻译

一、论文主要内容总结

本文提出了Dream 7B——当前性能最强的开源扩散型大型语言模型（Diffusion Large Language Models），旨在突破自回归（AR）语言模型的固有局限，同时实现扩散模型在通用任务上与顶尖AR模型的性能对齐。

1. 核心背景与问题

• AR模型的局限：当前主流LLM（如GPT-4、Qwen2.5）均采用自回归生成（左到右逐token生成），在复杂推理、长期规划、长上下文连贯性上存在短板，难以满足具身AI、自主智能体等场景对“全局序列推理”的需求。
• 扩散模型的潜力：离散扩散模型（Discrete Diffusion Models）通过“从完全噪声序列迭代去噪”生成文本，支持双向上下文整合与灵活生成模式，但此前在通用任务性能上仍落后于顶尖AR模型。

2. 模型设计与训练方法

• 模型架构：基于Transformer解码器，与Qwen2.5 7B配置完全兼容，支持扩散式训练。
• 核心训练技术：
  1. AR-based LLM初始化：复用预训练AR模型（如Qwen2.5）的权重，通过“移位操作”（Shift Operation）保留AR模型的序列理