BEYOND CONTEXT LIMITS: SUBCONSCIOUS THREADS FOR LONG-HORIZON REASONING

文章主要内容和创新点

主要内容

本文针对大语言模型（LLMs）的上下文限制导致推理准确性和效率瓶颈的问题，提出了线程推理模型（Thread Inference Model, TIM） 和配套的推理运行时系统TIMRUN。

• TIM是一类为递归和分解式问题求解训练的LLM，将推理过程建模为递归的子任务树（而非线性序列），每个子任务包含思考过程、可选工具调用、子任务列表和结论。
• TIMRUN是专为TIM设计的推理引擎，通过基于规则的子任务修剪机制动态管理键值（KV）缓存和位置嵌入，保留最相关的上下文令牌，实现高效的长程推理，突破输出限制、位置嵌入约束和GPU内存瓶颈。
• 实验表明，该系统在数学推理任务（如MATH500、AIME 2024）、多跳信息检索任务（如Datacommons QA、BrowseComp）中表现优异，且在处理高达90%的KV缓存时仍能维持高推理吞吐量。

创新点

1. 推理结构建模：将推理过程建模为递归子任务树（而非线性令牌序列），通过子任务分解和聚合实现长程推理，符合人类潜意识处理信息的模式（如完成子任务后“遗忘”细节，聚焦当前任务）。
2. 动态工作记忆管理：通过规则驱动的子任务修剪机制，仅保留与当前任务相关的KV缓存和上下文，减少内存占用，同时重用位置嵌入和GPU内存页，突破传统LLM的上下文窗口限制。
3. 单模型