Qwen2.5-Omni Technical Report

文章主要内容总结

Qwen2.5-Omni是一个端到端多模态模型，能够同时处理文本、图像、音频、视频输入，并实时生成文本和自然语音响应。其核心设计包括：

1. 多模态感知：采用分块处理的音频/视频编码器，结合TMRoPE时间对齐位置编码，支持长序列多模态数据的高效处理。
2. 双轨生成架构：通过Thinker（文本生成）和Talker（语音生成）分离设计，实现两种模态输出的无干扰协同。
3. 流式处理优化：引入滑动窗口DiT模型减少语音生成延迟，支持多模态输入的实时预处理。
4. 多阶段训练：通过文本、图像、视频、音频等多源数据预训练，结合指令微调提升综合能力。

在评估中，模型在多模态理解（如OmniBench）、语音生成（WER指标）和跨模态指令遵循（MMLU、GSM8K）等任务上均达到SOTA水平。

创新点

1. TMRoPE时间对齐编码
   提出三维位置编码方法，通过动态时间戳同步音频（40ms/帧）与视频的时间序列，解决音视频对齐难题。

2. Thinker-Talker架构
   将文本