大模型Agent发展的五重境界、Agent四要素

最新推荐文章于 2025-03-23 20:25:31 发布

大模型面试

最新推荐文章于 2025-03-23 20:25:31 发布

阅读量746

点赞数 24

文章标签：人工智能自然语言处理 agi 大模型 ai Agent

本文链接：https://blog.youkuaiyun.com/Code1994/article/details/146251139

版权

一、Agent发展的五重境界

第一阶段：工具型agent框架 (Tool-based Agent Frameworks)

工具型agent框架是在ChatGPT横空出世后同时期出现的，当时LLM刚刚展现出强大的文本生成能力，但其应用仍局限于纯文本环境，prompt engineering初步发展。为了实现语言模型与外部工具的基础连接机制，开发者们采用了预定义工具集、简单决策树、基本记忆管理实现了有限的自主性，代表性工作有LangChain、BabyAGI、AutoGPT早期版本等。

局限：LLM被限制在“笼子”里，严重依赖人工定义的工具和流程，灵活性低。

第二阶段：认知型agent (Cognitive Agents)

认知型agent的发展伴随着更强大语言模型如GPT-4的出现。这一阶段的关键驱动因素包括：新一代LLM的推理、规划和反思能力初见端倪，思维链(Chain-of-Thought)技术取得初步突破，使模型能够展示详细推理过程。开发者们通过适当设计的prompt和反馈循环，让LLM展现出初步的语言模型可以展现出初步的规划能力、反思机制、内部思维过程和自我修正。这个时期的典型代表工作有ReAct框架、Reflexion系统、Inner Monologue代理。

局限：环境交互能力有限，主要在思维层面运作，推理深度受限，复杂推理链中仍然存在"走神"和逻辑断裂问题，自我修正能力不稳定难以维持长期目标，在延伸任务中容易偏离原始目标。

第三阶段：环境交互agent (Environment-Interacting Agents)

环境交互agent的发展始于2023年中，这一时期的关键技术驱动包括多模态模型的突破，GPT-4V让agent能够"看见"环境了，浏览器自动化技术提供了与网络环境交互的标准化接口，开发者们开始尝试让agent去做一些界面理解、环境导航、执行复杂操作序列等任务。这个时期的代表工作有AutoGPT高级版、BrowserGPT、Adept ACT-1、Open Interpreter等。

局限：通常专注于特定领域，缺乏跨域集成能力。

第四阶段：自主agent (Autonomous Multimodal Agents)

自主agent的发展始于2024年初，这一阶段的关键驱动因素包括多模态大模型的普及，长上下文窗口的突破，支持数十万甚至数百万token的上下文窗口长度，agent开发工具和平台趋于成熟。开发者们开始探索真正具有自主性的agent系统，能够实现高级规划架构、动态环境适应、长期目标维持和自适应学习。这个时期的代表工作有Devin、OpenHands等。

局限：资源消耗大，稳定性和一致性挑战。

第五阶段：端到端通用agent (End-to-End General Agents)

在发布Deep Research后OpenAI团队在接受采访时提到Deep Research是o3模型的强化微调版本，它是一个端到端agent。o1之后大模型行业全面步入reasoning model时代，基础模型能力持续提升，越来越强大的基础模型内化了更多能力，agent可以无需专门框架支持，完全自主地规划和执行，能持续学习和自我改进能力，能够自主设定和调整目标，它最终将成为AGI的实际应用形式。

二、Agent四要素

2023年，前OpenAI应用研究主管Lilian Weng曾在其博文中提出agent定义和四大核心要素，时间来到2025年，AI发展日新月异，四大要素均发生了很大的变化，让我们一起来看看。

在这里插入图片描述

1. Planning

Planning目前是四要素中发展最快的能力，o1、R1的突破让大语言模型展现出内生的思维链（Chain-of-Thought）能力，可以针对复杂任务生成多步流程，不依赖于提示工程和模板，以及手工编写规则或有限的决策树。

未来的技术演进方向：1.自适应与动态规划：未来 agent 将朝着能根据环境和任务变化自动进行实时重规划的方向演进，具备自我纠错和动态调整策略的能力。2.层次化Planning：构建多层次规划结构，整合微观决策和宏观规划，实现全局与局部的协同优化。

2. Memory

对大模型在 Memory 方面的研究主要聚焦于RAG和长上下文窗口技术，长上下文在过去两三年里已经取得了显著的进展，不过相对于多模态、agent以及reasoning等高阶能力的迫切需求，目前的窗口长度还是远远不够，不然就不会出现大模型在解决长逻辑链深度推理和视频生成一致性上的捉襟见肘，肉眼可见各大模型厂商在 Memory 领域的投入势必会持续加码。

同时，市场上也出现了一些专注于 Memory 中间件的创业公司，如 Mem0、Letta 等，试图为解决长期记忆提供一些解决方案。未来我们仍需解决长期记忆内嵌与持久化、动态记忆管理与智能检索，以及多模态记忆整合等问题，最佳路径仍是通过模型内化来解决。

3. Tool use & Action

当前的agent系统通常预先集成了一组工具或 API，能根据任务需求调用特定外部服务来完成搜索、数据查询、翻译等任务，还不能够根据任务需求动态选择和灵活组合工具。

衡量模型理解用户意图调用工具执行命令能力的测试集叫TAU-bench，用于评估 AI Agent 在现实世界场景中性能和可靠性的基准测试。TAU-bench 设计了两个领域场景TAU-bench(Airline)，模拟用户在航空业务场景下进行航班查询、预订、改签、退票、机场服务等操作，和TAU-bench(Retail)，模拟在零售场景中进行购物咨询、商品推荐、订单修改、退货换货等操作。目前agentic能力最强的Claude 3.7 在零售领域问题解决率为81%，航空领域只有58%，航空领域一些 case 涉及非常多的查询、匹配航班信息、金额计算、行李/支付/退换多步操作，难度还是很大的。另外这个测试集还定义了一个pass^k 的指标，即多次稳定通过的概率，可以看到每个模型的稳定性都不是很好，所以并不能期望它在复杂的场景、多轮交互中很稳定地理解意图做出正确的行动，这是现状。

在这里插入图片描述

在agent四要素中，tool use和take action能力发展确实滞后其他两个要素，让模型发展脑子更容易，让模型长出手和脚更难。大模型的能力发展次序与我们人类是相反的，我们出生后先发展自己的身体，学会走路，学会用手操作，再识字学知识，再发展高层逻辑思维能力。模型是先学知识，然后发展思维能力，然后再学会computer use，最后才是物理世界的具身。

未来的技术演进方向：从目前看模型的tool use和take action能力都是离散和独立的调用，也就是说任务决策和具体执行往往是分开的过程，只有OpenAI Deep Research是连续动态决策，它会根据每一次搜索结果实时调整下一次搜索方向，它是边搜边想、边想边搜，不断接近目标，直至问题解决，这是端到端RL带来的好处。更进一步地，我们希望模型未来能够根据环境反馈实时调整行动策略，能够自主学习和迭代工具调用，甚至能发现并整合新的外部工具接口。