
交互模型研究预览版发布
2026 年 5 月 11 日,Thinking Machines 宣布发布交互模型的研究预览版。该模型能够原生处理交互,而非依赖外部框架。交互性应与智能同步提升,人机协作方式不应被视为事后补充。交互模型让人们能像自然与人协作一样与 AI 协作,它能持续接收音频、视频和文本信息,并实时思考、响应和行动。
协作瓶颈
AI 实验室常将 AI 自主工作能力视为模型的关键能力。当前的模型和界面未针对人类参与进行优化。自主界面虽有价值,但在多数实际工作中,用户无法提前明确所有需求并放手不管。良好的结果得益于人类持续参与的协作过程,然而人类逐渐被排除在外,并非工作不需要他们,而是界面没有他们的参与空间。
为解决这一问题,需突破当前基于回合的模型界面。目前的模型以单线程方式感知现实,在用户完成输入或说话前,模型处于等待状态,无法感知用户的行为和方式。在模型生成内容时,其感知暂停,直到完成或被中断才会接收新信息。这为人机协作创造了狭窄的通道,限制了人类知识、意图和判断传递给模型的程度,以及人类对模型工作的理解程度。
在 Thinking Machines,相信通过让 AI 在任何模式下实现实时交互,可以解决这一带宽瓶颈。多数现有 AI 模型通过外部框架实现交互性,但“惨痛教训”表明,这些手工制作的系统将被通用能力的发展超越。为使交互性与智能同步提升,它必须成为模型本身的一部分。
功能特性
将交互性融入模型,可解锁多种原本需在外部框架中实现的功能,包括无缝对话管理、言语和视觉插话、同步语音、时间感知、同步工具调用、搜索和生成式 UI。在较长的实际会话中,这些功能持续运行,带来更像协作而非单纯提示的体验。
我们的方法
基于回合的方式
输入和输出被整理成一个有序的令牌序列。
基于时间对齐微回合的方式
交互基于时间进行,连续的输入和输出流被分割成微回合。具有时间感知的交互模型看到的是连续的微回合流,因此沉默、重叠和中断都成为模型上下文的一部分。
系统概述
交互模型与用户持续交互。当任务需要的推理深度超过即时处理能力时,交互模型将任务委托给异步运行的后台模型。这种方法借鉴了 Qwen - omni、KAME、MoshiRAG 等先前的工作。交互模型始终保持参与,回答后续问题、接收新输入、维持对话,并在后台模型产生结果时将其融入对话。
交互模型
从连续的音频和视频入手,设计出一种原生支持多模态、具有时间感知且能处理多模态并发输入和输出流的架构。具体设计选择包括时间对齐微回合、无编码器早期融合、推理优化、训练器 - 采样器对齐、交互模型与后台模型的协调以及安全性。
基准测试
智能与交互性前沿
交互模型 `TML - Interaction - Small` 是首个兼具强大智能/指令遵循能力和交互性的模型。使用 FD - bench 衡量交互质量,使用 Audio MultiChallenge 量化智能。模型在交互质量上表现出色,且比任何非思考型模型更智能,在用户与模型回合之间的延迟方面实现了最佳响应性。
交互性的新维度
现有的以交互性为导向的基准测试未能充分体现观察到的交互能力的质的飞跃。开展了一些早期工作,旨在量化这些能力,包括时间感知和同步语音、视觉主动性。创建了 TimeSpeak、CueSpeak 等内部基准测试,采用了 RepCount - A、ProactiveVideoQA、Charades 等基准测试评估模型的视觉主动性。现有模型在这些任务中表现不佳。
未来评估
认为交互性是未来研究的重要领域,邀请社区提供相关基准测试。将推出一项研究资助计划,鼓励更多关于交互模型和人机协作领域的研究。
局限性与未来工作
存在长时间会话、计算与部署、对齐与安全、模型规模扩展、改进后台代理等方面的问题,正在积极研究解决。
分享您的想法,加入我们
未来几个月,将开启有限的研究预览,以收集反馈,并在今年晚些时候进行更广泛的发布。诚挚邀请加入,可将想法发送至指定邮箱。
引用信息
请按特定方式引用本文,也可使用 BibTeX 引用。
3530



被折叠的 条评论
为什么被折叠?



