QCon大会 | 融合大模型的对话式语音AI变革与技术架构

4月10日至12日，由极客邦旗下InfoQ中国主办的QCon全球软件开发大会2025在北京隆重举行。本届大会以“智能融合，引领未来” 为年度主题，汇聚了来自网易云信、腾讯、阿里巴巴、百度、华为、快手、字节跳动、小米、微软等近百家中外顶尖科技企业及知名高校的140余位行业专家。与会专家围绕AI工程生产力提升、AI产业应用实践、数据智能创新、AI搜索技术突破、海外AI应用案例等前沿议题展开了深度分享与探讨。大会现场座无虚席，深入交流，共同勾勒出人工智能技术发展的新图景。

网易云信音视频技术负责人、流媒体首席架构师吴桐受邀参加本次大会，带来《多模态对话引擎：从语音表征到 LLM 微调的架构演进和技术实践》的分享，从大模型带来的对话交互变革说起，解析了融合大模型的对话式语音AI技术架构，介绍了跨行业应用实践、场景落地及经验教训。

由于篇幅限制，本次分享内容将拆分为上下两篇呈现。本篇作为上篇，重点聚焦大模型驱动下的对话交互革新，以及对话式语音 AI 的技术架构解析。

1

大模型带来的对话交互变革

· 对话交互的发展历史

语音交互技术的发展可以追溯到70年前。1952年，贝尔实验室研发了名为Audrey（奥德丽）的早期语音识别系统，尽管它仅能识别0-9这10个数字，但标志着语音技术的萌芽。到了20世纪90年代，IVR（交互式语音应答）系统开始广泛应用，用户通过电话按键进行菜单选择，这种模式至今仍存在于客服系统中，例如我们熟知的"按1转人工"。这一阶段可视为语音交互技术的萌芽期。

真正的转折点出现在2011年，乔布斯掏出 iPhone4S 喊出 "Hey Siri"，首次将智能语音助手带入大众视野。尽管早期的Siri理解能力有限，经常答非所问，但它奠定了现代语音交互的基础。2014年，亚马逊推出Echo智能音箱，采用7麦克风阵列和云计算技术，实现了远场语音交互，大幅提升了语音识别的准确率。这一阶段，自动语音识别（ASR）技术取得显著突破，被称之为技术积累期。

2015年后，语音技术进入快速发展阶段。多轮对话、自然语言处理（NLP）和语音合成（TTS）技术不断进步，智能助手如小爱同学、小度、天猫精灵等迅速普及，使语音交互成为日常生活的一部分。

如今，我们正站在爆发前夜。随着大语言模型、多模态交互和边缘计算的发展，语音交互系统正朝着更智能、更个性化的方向演进。未来，个人语音助手或许会像《钢铁侠》中的贾维斯一样，不仅能精准理解指令，还能感知情绪、主动协助，真正成为用户的智能伙伴。

· 传统语音交互系统的技术局限性

第一，语义理解与泛化能力不足。系统往往只能处理固定句式，对自然语言的上下文理解能力较弱。比如用户对车载系统或者导航系统说 "我饿了"，它可能反问 "需要导航去加油站吗？"

第二，响应延迟问题严重。传统系统必须等待用户完整表述后才开始处理，且处理耗时特别大。说完一句话往往需要3秒以上的处理时间。这种交互延迟明显违背人类自然对话习惯，严重影响用户体验。

第三，语音识别欠佳和音色存在局限。在复杂声学环境下（如多人交谈或背景噪声），语音识别准确率可能从安静环境下的90%骤降至55%。同时，系统容易误判语音端点导致对话中断，体验感差，且语音合成（TTS）效果机械单一，拟人化差。

最后一点最可惜 —— 传统的语音交互系统忽略人类的情感信息。比如用户生气时提高音量，系统却不知道优先处理；用户点头表示确认，它也看不见。在人和人的效的沟通中，肢体动作和语音语调非常关键！

· 大模型+RTC 重构人机交互逻辑

近两年，大模型+RTC 驱动的语音交互正在重构人机交互逻辑。

从技术架构的角度，自下而上地分析新一代 AI 语