An Omni Diffusion Large Language Model for Multi-Modal Generation and Understanding

该论文由上海人工智能实验室等机构联合发布，聚焦多模态生成与理解领域，提出了基于全离散扩散建模的统一基础模型 Lumina-DiMOO，在效率、任务覆盖范围和性能上均实现突破。

一、文章主要内容总结

1. 研究背景与目标

• 现有多模态模型存在局限性：纯自回归（AR）模型生成速度慢、图像质量差；AR-扩散混合模型破坏模型统一性；部分离散扩散模型性能有限且缺乏下游任务支持。
• 研究目标是构建一个开源、高效、统一的多模态模型，同时支持文本到图像生成、图像到图像编辑、图像理解等多种任务，推进通用多模态智能研究。

2. 核心技术与模型设计

• 基础架构：采用全离散扩散建模框架，将文本和图像模态统一转化为离散 tokens，通过掩码策略（Mask）进行训练，模型在推理时通过多步并行预测-采样-重掩码完成生成与理解。
• 关键组件：选用 aMUSEd-VQ 图像分词器（16×16 下采样）平衡性能与效率；引入 <end-of-line> 令牌支持任意分辨率图像处理；基于预训练离散扩散语言模型 LLaDA-Base 初始化，仅需学习新增视觉和特殊令牌。
• 推理优化：