StreamingThinker: Large Language Models Can Think While Reading

论文核心总结与翻译

一、主要内容

文章提出流式思维范式（streaming thinking paradigm） 及其实例化框架StreamingThinker，旨在让大语言模型（LLMs）模仿人类“边读边想”的认知模式，解决传统批量思维范式（需等待完整输入才启动推理）的高延迟、早期信息注意力稀释等问题。

核心内容包括：

1. 范式设计：推理随输入流逐句展开，输入完成后可通过调整推理深度（直接回答、全局整合、自我反思）适配任务复杂度。
2. 框架实现：整合流式思维链（CoT）生成、流式约束训练（流式注意力掩码、流式位置编码）和流式并行推理（双KV缓存分离输入编码与推理生成）。
3. 实验验证：在Qwen3模型家族上，针对数学推理、逻辑推理、上下文QA三类任务开展测试，在保持与批量思维相当性能的同时，推理启动token等待量减少80%，最终答案时间延迟降低60%以上。

二、创新点

1. 首次提出流式思维范式，使LLMs能在动态场景中进行实时、连续的推理，弥合机器与人类推理模式的差距。
2. 设计流式CoT生成流水线，通过边界令牌插入、教师模型重构、质量评估等机制，确保推理与输入顺序严格对齐。
3. 提出适配流式范式的训练与推理框架：训练阶段通过特殊掩码和位置编码保障顺序一致性，推理阶段通过并行KV缓存实现“读”与“想”的真正并发。
4. 支持可控推理深度与灵活输入顺序（问题优先/上下文优先），适配不同任务场景需求。