
【导语:卡内基梅隆大学和马里兰大学研究发现,大模型处理长上下文时会出现性能问题,受人脑运作机制启发,设计了睡眠机制,能提升模型在深度推理类任务上的表现。】

Transformer的核心注意力机制存在短板,上下文越长,算力平方级增长,KV缓存也线性上涨。例如8K上下文窗口和128K上下文窗口的算力成本差距极大,多出的算力基本消耗在历史信息的关联计算上。
目前的解决方法要么硬扛,将老信息踢出缓存;要么采用SSM+Attention混合架构,如Samba、Qwen3.5,把老信息压缩进快速权重,但当推理步骤变多、逻辑链条变长时,模型仍会出现性能失效问题,当下瓶颈是深度推理能力跟不上。

研究团队的灵感源自人脑运作机制,人睡觉的时候海马体会把白天的短期记忆一遍遍回放,巩固进皮层突触,变成长期知识。
他们将这一逻辑搬到模型上,当模型上下文窗口快满时,让大模型进入纯离线状态,针对已积累的全部上下文执行多轮递归前向传播,依靠可学习的局部规则,反复对信息进行提炼整合,更新SSM模块内的快速权重,完成信息的深度压缩与消化。

团队选用元胞自动机、多跳图检索、GSM - Infinite无限数学推理三类任务开展测试,精准控制推理深度与记忆负载两大变量。
测试结果显示,提升睡眠迭代轮次,模型整体性能稳步提升,且性能提升主要体现在高难度深度推理任务上,简单任务醒着就能完成,复杂任务需要多轮梳理。
编辑观点:该睡眠机制为解决大模型处理长上下文的难题提供了新思路,有望提升模型的深度推理能力,推动大模型技术发展。
340



被折叠的 条评论
为什么被折叠?



