Qwen3-Omni发布：端到端全模态Thinker-Talker架构；Meta真实世界智能体基准Kimi K2开源最佳｜日报

开发者朋友们大家好：

这里是 「RTE 开发者日报」，每天和大家一起看新闻、聊八卦。我们的社区编辑团队会整理分享 RTE（Real-Time Engagement） 领域内「有话题的技术」、「有亮点的产品」、「有思考的文章」、「有态度的观点」、「有看点的活动」，但内容仅代表编辑的个人观点，欢迎大家留言、跟帖、讨论。

本期编辑：@Jerry fong，@鲍勃

01有话题的技术

1、阿里 Qwen 发布「Qwen3-Omni」：端到端全模态 AI 大模型，性能直逼 GPT-4o

阿里巴巴 Qwen 团队近日发布其最新一代 30B 参数「全模态 AI 大模型」Qwen3-Omni。这是一个端到端的开源多模态模型，能够同时处理文本、图像、音频、视频输入，并实时生成流式文本和自然语音输出。其性能在 36 项音视频基准测试中，有 22 项达到 SOTA（State-Of-The-Art，最优性能）水平，直逼 OpenAI 的 GPT-4o 和 Google 的 Gemini 2.5 Pro，并支持免费商用，为多模态 AI 交互树立了新标杆。

关键亮点

• 「端到端」全模态能力与「不降智」： Qwen3-Omni 采用统一架构，直接处理文本（119 种语言）、图像、音频（19 种语言，最长 30 分钟）和视频输入，并实时生成流式文本和语音输出（10 种语言）。实现「全模态不降智」，纯模型端到端音频对话延迟低至 211ms，视频对话延迟低至 507ms，交互体验如真人对话般自然流畅。

• 创新「Thinker-Talker」架构： 采用基于「混合专家 （MoE） 架构」的 Thinker（负责文本语义理解与生成）和 Talker（专注于流式语音 Token 生成）双核架构。配合基于 2000 万小时数据训练的 AuT 音频编码器以及 MTP（Multi-Token Prediction）和 Code2Wav 模块，确保深度语义理解和毫秒级实时语音生成，兼顾效率与能力。

• 音视频性能卓越，单模态能力稳定： 在 36 项音视频基准测试中，32 项取得开源模型最佳效果，22 项达到 SOTA 水平，性能超越 Seed-ASR、GPT-4o-Transcribe 等闭源模型。同时，其文本（MMLU-Redux、AIME25 评测）和图