Uni-MoE-2.0-Omni: Scaling Language-Centric Omnimodal Large Model with Advanced MoE, Training and ...

Uni-MoE-2.0-Omni 文章总结与翻译

一、主要内容总结

Uni-MoE-2.0-Omni 是哈尔滨工业大学（深圳）团队推出的全开源全能模态大模型（OLM），基于 Qwen2.5-7B 稠密语言模型扩展而来，实现了文本、图像、音频、视频等10种跨模态输入的理解、推理与生成能力。模型通过75B tokens的开源多模态数据训练，在85个基准测试中表现优异，超过 Qwen2.5-Omni（1.2T tokens训练）等主流模型，尤其在视频理解（平均+7%）、全能模态理解（平均+7%）、视听推理（+4%）等任务上优势显著，同时优化了长语音处理（WER 最高降低4.2%）和图像生成编辑能力。

二、核心创新点

1. 架构设计创新

• 动态容量混合专家（MoE）框架：包含空专家（推理时跳过计算）、模态专用路由专家（存储模态知识）和共享专家（通用信息交换），平衡计算效率与多模态处理能力。
• 全模态3D RoPE机制：在自注意力层编码语音、图像、文本、视频的时空维度，实现跨模态对齐。
• 统一模态编码与生成模块：统一语音编码器处理多种音频输入，任务感知扩散Transformer支持图像生成编辑，上下文感知MoE-TTS模块实现动态语音合成。

2. 训练与数据策略创新

• 渐进式训