
📌 一句话总结:
本工作提出 Context-Folding 框架,使大语言模型(LLM)智能体能够通过“上下文折叠”主动管理自身记忆,在长时任务中以仅 1/10 的上下文长度完成与甚至超越基线表现的任务。
🔍 背景问题:
现有的长时序 LLM 智能体(如 ReAct、Deep Research)存在两大瓶颈:
1️⃣ 上下文线性累积——任务交互历史持续增长,模型难以聚焦关键信息,注意力成本 O(n²) 爆炸;
2️⃣ 外部压缩失效——基于摘要的记忆管理虽可减少上下文,但会破坏推理连续性,导致信息丢失与性能退化。
💡 方法简介:
作者提出 Context-Folding 机制,使智能体能主动“开分支-折叠回收”:
Branch 动作:在主线程外创建局部子任务分支处理复杂问题;
Return 动作:完成后折叠分支历史,仅保留精简摘要返回主线。
同时,提出强化学习算法 FoldGRPO,通过过程级奖励(Process Rewards)学习最优折叠策略:
Unfolded Token Penalty:惩罚主线程中冗长推理;
Out-of-Scope Penalty:惩罚子任务越界行为;
Failure Penalty:惩罚失败工具调用。
该算法实现了端到端可学习的上下文管理,使智能体在 32K 有效上下文下模拟 327K 级任务推理,显著提升效率与稳定性。
📊 实验结果:
在 BrowseComp-Plus(Deep Research)与 SWE-Bench Verified (软件工程)两大长时任务上:
Pass@1 提升 20.0% 与 8.8%,超越 327K 长上下文 ReAct 智能体;
上下文压缩率 > 90%,在 10 个分支内维持 32K 活动上下文;
在难例中表现尤为突出,展现出强大的长程推理与任务分解能力;
与 FoldGRPO 对比,标准 GRPO 在任务完成率与聚焦度上明显落后。
图 4 与表 1 显示:RL 训练后模型调用工具次数、分支数量与响应长度显著增长,表明智能体学会了更高效的探索与资源分配策略。
📂 项目主页:
🔗 https://context-folding.github.io/
📄 论文原文:
🔗 https://arxiv.org/abs/2510.11967
🧠 一句话点评:
Context-Folding 让 LLM 从“被动记忆者”变成“主动整理者”,标志着智能体记忆管理从外部压缩迈向内生可学习技能的新阶段。
那么,如何系统的去学习大模型LLM?
作为一名深耕行业的资深大模型算法工程师,我经常会收到一些评论和私信,我是小白,学习大模型该从哪里入手呢?我自学没有方向怎么办?这个地方我不会啊。如果你也有类似的经历,一定要继续看下去!这些问题啊,也不是三言两语啊就能讲明白的。
所以我综合了大模型的所有知识点,给大家带来一套全网最全最细的大模型零基础教程。在做这套教程之前呢,我就曾放空大脑,以一个大模型小白的角度去重新解析它,采用基础知识和实战项目相结合的教学方式,历时3个月,终于完成了这样的课程,让你真正体会到什么是每一秒都在疯狂输出知识点。
由于篇幅有限,⚡️ 朋友们如果有需要全套 《2025全新制作的大模型全套资料》,扫码获取~

👉大模型学习指南+路线汇总👈
我们这套大模型资料呢,会从基础篇、进阶篇和项目实战篇等三大方面来讲解。


👉①.基础篇👈
基础篇里面包括了Python快速入门、AI开发环境搭建及提示词工程,带你学习大模型核心原理、prompt使用技巧、Transformer架构和预训练、SFT、RLHF等一些基础概念,用最易懂的方式带你入门大模型。

👉②.进阶篇👈
接下来是进阶篇,你将掌握RAG、Agent、Langchain、大模型微调和私有化部署,学习如何构建外挂知识库并和自己的企业相结合,学习如何使用langchain框架提高开发效率和代码质量、学习如何选择合适的基座模型并进行数据集的收集预处理以及具体的模型微调等等。

👉③.实战篇👈
实战篇会手把手带着大家练习企业级的落地项目(已脱敏),比如RAG医疗问答系统、Agent智能电商客服系统、数字人项目实战、教育行业智能助教等等,从而帮助大家更好的应对大模型时代的挑战。

👉④.福利篇👈
最后呢,会给大家一个小福利,课程视频中的所有素材,有搭建AI开发环境资料包,还有学习计划表,几十上百G素材、电子书和课件等等,只要你能想到的素材,我这里几乎都有。我已经全部上传到优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

相信我,这套大模型系统教程将会是全网最齐全 最易懂的小白专用课!!
Context-Folding实现大模型内存高效管理
766

被折叠的 条评论
为什么被折叠?



