Agent全解析：从概念原理到应用的一站式指南！_ai agent从原理到应用（非常详细）从零基础到精通，收藏这篇就够了!

最新推荐文章于 2025-07-03 19:05:15 发布

程序员_大白

最新推荐文章于 2025-07-03 19:05:15 发布

阅读量588

点赞数 20

CC 4.0 BY-SA版权

文章标签：人工智能大模型语言模型

本文链接：https://blog.youkuaiyun.com/Python_0011/article/details/149065497

一、Agent是什么

能够让大模型结合问句（Query）、上下文（Context）、各种API，也就是各种Tools，能够规划（Planning）在这样的场景下需要调用哪些API来解决客户当前最关心的问题。大模型需要根据API的返回结果，来决策如何答复客户，也就是最后的动作（Action）。

1. Agent包括什么

一个人如果想要在社会中生存，就必须学会适应环境，因此需要具有认知能力，并且能够感知、应对外界的变化。同样Agent也由三个部分组成：控制端（Brain）、感知端（Perception）和行动端（Action）。

控制端：通常由 LLMs 构成，是智能代理的核心。它不仅可以存储记忆和知识，还承担着信息处理、决策等不可或缺的功能。它可以呈现推理和计划的过程，并很好地应对未知任务，反映出智能代理的泛化性和迁移性。
感知端：将智能代理的感知空间从纯文本拓展到包括文本、视觉和听觉等多模态领域，使代理能够更有效地从周围环境中获取与利用信息。
行动端：除了常规的文本输出，还赋予代理具身能力、使用工具的能力，使其能够更好地适应环境变化，通过反馈与环境交互，甚至能够塑造环境。

当人类询问是否会下雨时，感知端（Perception）将指令转换为 LLMs 可以理解的表示。然后控制端（Brain）开始根据当前天气和互联网上的天气预报进行推理和行动规划。最后，行动端（Action）做出响应并将雨伞递给人类。通过重复上述过程，智能代理可以不断获得反馈并与环境交互。

2.控制端：Brain

一旦 AI Agent 感知到环境信息，依赖深度学习、强化学习带来的训练结果，对这些信息进行识别与分析，以便作出明智的决策。这个过程中，会借助 RAG、联网搜索、外部应用和系统调用。

这一阶段是 AI Agent 行为的核心，直接决定了后续行动的有效性。但由于深度学习、强化学习的模型，依旧缺乏完全的可解释性，是输出结果不确定性的主要原因之一。

(1)自然语言交互

语言是沟通的媒介，其中包含着丰富的信息。得益于 LLMs 强大的自然语言生成和理解能力，智能代理能够通过自然语言与外界进行多轮交互，进而实现目标。具体而言，可以分为两个方面：

高质量文本生成：大量评估实验表明，LLMs 能够生成流畅、多样、新颖、可控的文本。尽管在个别语言上表现欠佳，但整体上具备良好的多语言能力。
言外之意的理解：除了直观表现出的内容，语言背后可能还传递了说话者的意图、偏好等信息。言外之意有助于代理更高效地沟通与合作，大模型已经展现出了这方面的潜力。

(2)知识

基于大批量语料训练的 LLMs，拥有了存储海量知识（Knowledge）的能力。除了语言知识以外，常识知识和专业技能知识都是 LLM-based Agents 的重要组成部分。

虽然 LLMs 其本身仍然存在知识过期、幻觉等问题，现有的一些研究通过知识编辑或调用外部知识库等方法，可以在一定程度上得到缓解。（也就是RAG）

(3)记忆

记忆模块（Memory）储存了代理过往的观察、思考和行动序列。通过特定的记忆机制，代理可以有效地反思并应用先前的策略，使其借鉴过去的经验来适应陌生的环境。通常用于提升记忆能力的方法有三种：

扩展 Backbone 架构的长度限制：针对 Transformers 固有的序列长度限制问题进行改进。
总结记忆（Summarizing）：对记忆进行摘要总结，增强代理从记忆中提取关键细节的能力。
压缩记忆（Compressing）：通过使用向量或适当的数据结构对记忆进行压缩，可以提高记忆检索效率。

此外，记忆的检索方法也很重要，只有检索到合适的内容，代理才能够访问到最相关和准确的信息。

messages-大模型是怎么实现记忆的？messages是一个对话数组，其中角色主要有：

system：代表当前对话的系统指令，一般放提示词
user：用户指令
assistant：LLM的回复

只是因为后台系统给了他之前的对话，并不是他自己记住。大模型的请求调用就是一个无状态的，取决于每次给的对话内容。

(4)推理 & 规划

推理能力（Reasoning）对于智能代理进行决策、分析等复杂任务而言至关重要。具体到 LLMs 上，就是以思维链（Chain-of-Thought，CoT）为代表的一系列提示方法。而规划（Planning）则是面对大型挑战时常用的策略。它帮助代理组织思维、设定目标并确定实现这些目标的步骤。在具体实现中，规划可以包含两个步骤：

计划制定（Plan Formulation）：代理将复杂任务分解为更易于管理的子任务。例如：一次性分解再按顺序执行、逐步规划并执行、多路规划并选取最优路径等。在一些需要专业知识的场景中，代理可与特定领域的 Planner 模块集成，提升能力。
计划反思（Plan Reflection）：在制定计划后，可以进行反思并评估其优劣。这种反思一般来自三个方面：借助内部反馈机制；与人类互动获得反馈；从环境中获得反馈。

(5)迁移性 & 泛化性：

拥有世界知识的 LLMs 赋予智能代理具备强大的迁移与泛化能力。一个好的代理不是静态的知识库，还应具备动态的学习能力：

对未知任务的泛化：随着模型规模与训练数据的增大，LLMs 在解决未知任务上涌现出了惊人的能力。通过指令微调的大模型在 zero-shot 测试中表现良好，在许多任务上都取得了不亚于专家模型的成绩。
情景学习（In-context Learning）：大模型不仅能够从上下文的少量示例中进行类比学习，这种能力还可以扩展到文本以外的多模态场景，为代理在现实世界中的应用提供了更多可能性。
持续学习（Continual Learning）：持续学习的主要挑战是灾难性遗忘，即当模型学习新任务时容易丢失过往任务中的知识。专有领域的智能代理应当尽量避免丢失通用领域的知识。

3.感知端：Perception

人类通过多模态的方式感知世界，所以研究者们对 LLM-based Agents 抱有同样的期待。多模态感知能加深代理对工作环境的理解，显著提升了其通用性。这是唤醒 AI Agent 的第一步，感知内容分为。

来自物理世界的信息：包括来自客户端的任务，自然语言、代码、多模态等，以及通过传感器、摄像头、麦克风硬件设备的传感信息。
来自虚拟环境的信息：从数据库、外部 API 接口等收集到的信息。

4.行动端：Action

在大脑做出分析、决策后，代理还需要做出行动以适应或改变环境：

(1)文本输出：

作为 LLMs 最基础的能力。

(2)工具使用：

尽管 LLMs 拥有出色的知识储备和专业能力，但在面对具体问题时，也可能会出现鲁棒性问题、幻觉等一系列挑战。与此同时，工具作为使用者能力的扩展，可以在专业性、事实性、可解释性等方面提供帮助。例如，可以通过使用计算器来计算数学问题、使用搜索引擎来搜寻实时信息。

另外，工具也可以扩展智能代理的行动空间。例如，通过调用语音生成、图像生成等专家模型，来获得多模态的行动方式。因此，如何让代理成为优秀的工具使用者，即学会如何有效地利用工具，是非常重要且有前景的方向。

目前，主要的工具学习方法包括从演示中学习和从反馈中学习。此外，也可以通过元学习、课程学习等方式来让代理程序在使用各种工具方面具备泛化能力。更进一步，智能代理还可以进一步学习如何「自给自足」地制造工具，从而提高其自主性和独立性。

(3)具身行动

具身（Embodyment）是指代理与环境交互过程中，理解、改造环境并更新自身状态的能力。具身行动（Embodied Action）被视为虚拟智能与物理现实的互通桥梁。

传统的基于强化学习的 Agent 在样本效率、泛化性和复杂问题推理等方面存在局限性，而 LLM-based Agents 通过引入大模型丰富的内在知识，使得 Embodied Agent 能够像人类一样主动感知、影响物理环境。根据代理在任务中的自主程度或者说 Action 的复杂程度，可以有以下的原子 Action：

Observation 可以帮助智能代理在环境中定位自身位置、感知对象物品和获取其他环境信息；
Manipulation 则是完成一些具体的抓取、推动等操作任务；
Navigation 要求智能代理根据任务目标变换自身位置并根据环境信息更新自身状态。

通过组合这些原子行动，代理可以完成更为复杂的任务。例如「厨房的西瓜比碗大吗？」这类具身的 QA 任务。为了解决这个问题，代理需要导航到厨房，并在观察二者的大小后得出答案。

受限于物理世界硬件的高成本和具身数据集缺乏等问题，目前具身行动的研究仍主要集中于游戏平台《我的世界》等虚拟沙盒环境中。因此，一方面作者们期待有一种更贴近现实的任务范式和评价标准，另一方面，也需要大家在高效构建相关数据集上面有更多的探索。

二、为什么要做Agent

同样的业务场景，使用Agent无非就是构建了一个基于大模型按多步骤执行的流程，如果通过传统的开发方法，如硬编码（Hard Code）或者低代码的配置化平台（如一些SOP配置平台、流程编排平台等），其实也同样能实现类似Agent的流程功能。

Agent其实就是让大模型去调用API接口完成一些相对复杂的步骤执行，也完全同样可以直接用代码去开发这个功能，或者使用低代码平台的表单配置、逻辑配置、API接口配置，通过不同执行节点之间的参数配置、映射来构建复杂的业务流程。也就是说，问这个问题的核心意图就是**“Agent能做的事情，在Agent出现之前其实就能做”**。

1.Agent构建挑战

使用大模型构建的Agent，还存在着非常多的挑战，其中最常见的三个挑战是：

Agent响应速度慢：由于Agent需要调用大模型，而大模型通常是流式输出，这就导致用户提问后需要等待一段时间，可能需要十几秒钟才能得到完整输出，如果Prompt再长一些，那么就连首次token的响应速度都会很慢。当然，Agent在执行过程中还涉及到思考（Thought）、推理（Reasoning）等中间过程，有时候还需要将复杂问题拆解为多个步骤，这些都会导致Agent的运行速度极其缓慢。
Agent会出现幻觉：由于大模型天然的设计问题，可能会产生事实性错误或不遵循指令的幻觉，相比运行速度慢，这更加引发了信任危机，对Agent执行结果的挑战就更大了。
纯文本交互不友好：由于大模型是基于自然语言进行交互的，因此绝大部分的Agent的设计都是类似在机器人里使用对话流的形式提供服务的，输入阶段使用文本还相对好一些，输出阶段的时候很多Agent会有很多长篇大论的输出，啰里啰嗦字太多，人阅读起来就比较费劲，这样的交互相比传统的一些结构化的、卡片式、表单式的交互体验就差很多，因此很多人觉得这种对话式的交互并不是很友好。

相比而言，通过传统方式构建的流程，相比Agent的技术而言，优势就非常明显：运行速度非常快、稳定、可以专门设计前端交互。所以问题就来了，尤其是服务领域，既然传统的SOP或业务流程管理平台也能够完成这些复杂的任务，并且运行速度很快，很稳定、交互更好，那为什么要还非要使用Agent？还一定要建设一个Agent平台呢？更何况Agent还运行速度很慢、有幻觉、交互体验差。

2.Agent的优势

Agent的优势在哪里呢？Agent可以“代理/模拟”「人」来完成相关事情，它有一个非常聪明的大脑，甚至在很多领域比人都聪明，所以，从这个角度来看，Agent的出现，其实是“解放了人的生产力”，所以，从这个角度来说，Agent其实是一个极大提升效率的生产力。

降低应用开发门槛： 过去，想要实现一个功能，我必须是一个专业的开发人员，必须能够编写专业的代码。但现在，如果你使用Agent而不是传统的硬编码方式，那么首先的好处就是你不需要编写代码，这降低了门槛。也就是说，如果我不是专业的研发人员，我是一个产品经理，或者是一个运营人员，我也可以通过自然语言描述prompt的方式实现一个Agent，来满足我的个性化需求的开发。这是需求开发的巨大的效率提升，也是应用开发的门槛的大幅降低。
简化流程复杂度。能够自动处理参数转换、能够自动完成一些校验逻辑，这就极大地减少了流程配置的工作量。这种自动化的能力使得开发过程更加高效。比如，在流程中通常会调许多API，如果是传统的流程编排，前一步的API返回结果传进来，与后一步API输入参数之间的映射，你必须得严丝合缝，包括变量类型和内容，你必须要有完备的转换过程，才能保证不会出现任何bug或错误。大模型就像「人」一样，看到问题、AP接口、参数时，它会自然而然地做转换。它可以把用户的问题输入内容自然地转换到相应的API入参上。
协同完成复杂任务。比如多个Agent之间进行组装完成一些复杂的场景，比如在服务领域的某些工单里面，经常会出现客户在同一个工单中连续问多个问题，这个时候，就完全可以调用多个处理不同问题的Agent参与决策进行合作，就像人一样进行接力，把问题解决。有些时候，也可能会面临一些疑难杂症的问题，也可以有多个领域相关的Agent来进行专家会诊，甚至Agent之间都可以相互交流，最终讨论、解决同一个问题。LLM 驱动的 Agent 可以处理那些传统自动化方法难以应对的复杂任务。例如：
需要决策：根据代码上下文灵活理解意图、自主定位错误、自主规划修复步骤，如代码场景。传统自动化软件只能按规则跑流程，遇到异常或不确定性时无法自主推理和修正。
需要连续推理与多步计划：自动完成有逻辑连贯性的复杂任务，例如撰写长篇技术报告场景。传统自动化软件最多能模板化填充内容，无法根据目标动态规划章节结构、铺设推理链条、前后自洽。
需要跨系统自主整合数据：在多个ERP、CRM、财务系统之间自动生成综合运营报告。传统 RPA（机器人流程自动化）只能定向拉取数据，无法理解数据之间的隐含关联或异常。
需要处理模糊、不完整输入：用户只给出一句含糊需求（如“帮我优化一下销售流程”），系统理解后完成多步落地执行，传统自动化软件需要结构化清晰指令，无法理解模糊自然语言并自主澄清、细化、规划。
需要自主学习和演化：持续优化任务，进行自我纠错。传统自动化工具需要人为设定优化规则，无法根据实际结果自我改进。

三、Agent in Practice：多样化的应用场景

帮助用户从日常任务、重复劳动中解脱出来，减轻人类的工作压力，提高解决任务的效率；
不再需要用户提出显式的低级指令，就可以完全自主的分析、规划、解决问题；
在解放用户的双手以后，尝试解放大脑：在前沿科学领域充分发挥潜能，完成创新性的、探索性的工作。

在这个基础上，代理的应用可以有三种范式：

1.单代理场景

可以接受人类自然语言命令，执行日常任务的智能代理目前备受用户青睐，具有很高的现实使用价值。

在任务导向的部署中，代理帮助人类用户处理日常基本任务。它们需要具备基本的指令理解、任务分解、与环境交互的能力。具体来说，根据现有的任务类型，代理的实际应用又可以分为模拟网络环境与模拟生活场景。
在创新导向的部署中，代理能够在前沿科学领域展现出自主探究的潜力。虽然来自专业领域的固有复杂性和训练数据的缺乏给智能代理的构建带来了阻碍，但目前已经有许多工作在化学、材料、计算机等领域取得了进展。
在生命周期导向的部署中，代理具备在一个开放世界中不断探索、学习和使用新技能，并长久生存的能力。

(1)任务感知

Agent 首先接收并理解用户的输入请求，明确用户的真实意图。此时良好的 Prompt 工程会提高模型识别准确性。

(2)任务拆解与规划

对于复杂任务，Agent 会自动进行任务分解，把大任务拆分为数个易执行的小步骤。例如，“查询最近天气”这一任务可被拆分为“获取当前位置 → 查询天气API → 整理结果 → 回复用户”这几个子任务。

(3)决策并调用工具

Agent 基于任务规划结果，生成具体的函数调用请求，决定何时调用何种外部工具，以及具体调用参数。此环节考验 Prompt 设计、模型推理能力以及工具设计的接口清晰度。

(4)工具执行与结果反馈

外部环境执行模型指定的工具（如 Python 代码执行函数 exec_python_code），并把执行结果回传模型。例如，模型请求执行代码进行数学计算或网页数据抓取，执行后结果会原路返回给模型。

(5)循环与完成任务

Agent 根据返回的执行结果持续调整规划、再次决策，进入新一轮工具调用循环，直至完整完成用户交付的任务，给出最终答案。

通过以上五步的循环互动，LLM Agent 能够解决比单一模型预测更复杂的问题，逐渐表现出具备通用智能的雏形。

2.多代理场景

多代理系统（Multi-Agent System）作为其中主要的研究问题之一，主要关注代理们如何有效地协调并协作解决问题。

(1)合作型互动

作为实际应用中部署最为广泛的类型，合作型的代理系统可以有效提高任务效率、共同改进决策。具体来说，根据合作形式的不同，作者们又将合作型互动细分为无序合作与有序合作。

当所有代理自由地表达自己的观点、看法，以一种没有顺序的方式进行合作时，称为无序合作。
当所有代理遵循一定的规则，例如以流水线的形式逐一发表自己的观点时，整个合作过程井然有序，称为有序合作。

(2)对抗型互动

智能代理以一种针锋相对（tit for tat）的方式进行互动。通过竞争、谈判、辩论的形式，代理抛弃原先可能错误的信念，对自己的行为或者推理过程进行有意义的反思，最终带来整个系统响应质量的提升。

3.人机交互场景

人机交互（Human-Agent Interaction），顾名思义，是智能代理通过与人类交互，合作完成任务。一方面，代理的动态学习能力需要沟通交流来支持；另一方面，目前的代理系统在可解释性上的表现依然不足，可能会存在安全性、合法性等方面的问题，因此需要人类参与进行规范与监督。

Instructor-Executor 模式：人类作为指导者，给出指令、反馈意见；而代理作为执行者，依据指示逐步调整、优化。这种模式在教育、医疗、商业等领域得到了广泛的应用。
Equal Partnership 模式：有研究观察到代理能够在与人类的交流中表现出共情能力，或是以平等的身份参与到任务执行中。智能代理展现出在日常生活中的应用潜力，有望在未来融入人类社会。

4.Agent 社会：从个性到社会性

左侧部分：在个体层面上，代理表现出多种内化行为，例如计划、推理和反思。此外，代理还显现出内在的人格特征，涵盖认知、情感和性格三个方面。
中间部分：单个代理可以与其他代理个体组成群体，共同展现出合作等群体行为，例如协同合作等。
右侧部分：环境的形式可以是虚拟的沙盒环境，也可以是真实的物理世界。环境中的要素包括了人类参与者和各类可用资源。对于单个代理而言，其他代理也属于环境的一部分。
整体互动：代理们通过感知外界环境、采取行动，积极参与整个交互过程。

(1)代理的社会行为与人格

社会行为： 从社会的角度出发，可以将行为分为个体和集体两个层次：

个体行为构成了代理自身运作和发展的基础。包括以感知为代表的输入、行动为代表的输出，以及代理自身的内化行为。
群体行为是指两个以上代理自发交互时产生的行为。包括以协作为代表的积极行为、冲突为代表的消极行为，以及从众、旁观等中立行为。

人格： 包括认知、情感和性格。就像人类在社会化过程中逐渐形成自己的特质一样，代理也展现了所谓的 “类人智能”，即通过与群体和环境的互动中逐渐塑造人格。

认知（Cognitive abilities）：涵盖了代理获取和理解知识的过程，研究表明，基于 LLM 的代理在某些方面能够表现出类似于人类的深思熟虑和智力水平。
情感（Emotional intelligence）：涉及主观感受和情绪状态，如喜怒哀乐，以及表现出同情和共情的能力。
性格（Character portrayal）：为了理解和分析 LLMs 的性格特征，研究人员利用了成熟的评测方式，如大五人格、MBTI 测试，以探究性格的多样性和复杂性。

(2)模拟社会的运行环境

代理社会不仅由独立的个体构成，还包括了与其交互的环境。环境对代理的感知、行动和互动产生影响。反过来，代理也通过他们的行为和决策也改变着环境的状态。对于单个代理而言，环境包括其他自主代理、人类以及可使用的资源。

基于文本的环境： 由于 LLMs 主要依赖语言作为其输入和输出格式，因此基于文本的环境是代理最自然的操作平台。通过文字的方式来描述社会现象和互动，文本环境提供了语义和背景知识。代理存在于这样的文本世界中，依赖文本资源来感知、推理和采取行动。

虚拟沙盒环境： 在计算机领域，沙盒是指一种可受控且隔离的环境，常用于进行软件测试和病毒分析。而代理社会的虚拟沙盒环境则是作为模拟社会互动和行为仿真的平台，其主要特点包括：

可视化：可以使用简单的 2D 图形界面乃至复杂的 3D 建模来展示世界，以一种直观的方式刻画模拟社会的方方面面。
可扩展性：可以构建和部署各种不同的场景（Web、游戏等）进行各种实验，为代理提供了广阔的探索空间。

真实的物理环境： 物理环境是由实际物体和空间组成的有形环境，代理在其中进行观察和行动。这种环境引入了丰富的感官输入（视觉、听觉和空间感）。与虚拟环境不同，物理空间对代理行为提出了更多的要求。即代理在物理环境中必须具备适应性，生成可执行的运动控制。

四、如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

2024最新版优快云大礼包：《AGI大模型学习资源包》免费分享**