论文翻译：Position Paper: Agent AI Towards a Holistic Intelligence

这篇论文是一篇“立场论文（Position Paper）”，重点不是报告某个实验结果，而是提出一种未来 AI 的发展方向：从只会处理语言或图像的模型，走向能够感知、记忆、规划并采取行动的完整智能体系统。

摘要

近年来，大型基础模型的发展显著增强了我们对开放世界环境中感知信息的理解。在利用基础模型能力的过程中，人工智能研究必须摆脱过度的还原主义，转而重视那些能够作为有机整体协调运行的系统。

具体而言，我们强调发展 Agent AI（智能体人工智能）：一种将大型基础模型整合到智能体行动之中的具身系统。新兴的 Agent AI 领域涵盖了现有的多种具身交互和基于智能体的多模态交互，包括机器人、游戏和医疗系统等。

本文提出了一种实现具身智能行为的新型大型动作模型（Large Action Model），即智能体基础模型（Agent Foundation Model）。在此基础上，我们讨论了 Agent AI 如何在多种领域和任务中展现出卓越能力，并对我们现有的学习与认知观念提出挑战。

此外，我们从跨学科视角探讨了 Agent AI 的发展潜力，并强调应当将人工智能的认知与意识问题纳入科学讨论。我们相信，这些讨论能够为未来的研究方向奠定基础，并推动社会各界更加广泛地参与其中。

引言

从历史上看，人工智能（Artificial Intelligence，AI）在 1956 年的达特茅斯会议上被定义为一种人工生命形式：它能够从环境中收集信息，并在环境中采取有效行动。1970 年，明斯基在麻省理工学院的研究团队开发了一个名为“Copy Demo”的机器人系统。该系统能够观察“积木世界”场景，并成功重建所观察到的多面体积木结构（Winston, 1972）。这个系统由观察、规划和操作模块组成，同时也说明上述每一个子问题都极具挑战性，需要进一步开展研究。因此，人工智能领域逐渐分化为多个专业化的子领域。虽然这些子领域分别取得了显著进展，但这种过度的还原主义也模糊了人工智能研究的总体目标。

为了超越当前阶段、迈向更加先进的人工智能，我们强调采用亚里士多德整体主义哲学的重要性。该哲学强调，应当将各个组成部分整合起来，使整体所实现的能力超越各部分的简单相加。近年来，大语言模型（Large Language Models，LLMs）和视觉语言模型（Visual Language Models，VLMs）的进展，已经展现出在开放世界环境中识别语言和图像的巨大潜力（OpenAI, 2023）。例如，研究人员已经利用大语言模型先进的语义处理能力，将人类指令分解为可供机器人执行的高层任务（Wake et al., 2023c,d）。

然而，现有的多模态基础模型——即使是 GPT-4V(ision)——在完成需要预测动作的细粒度操作方面，仍然面临困难。因此，Durante et al.（2024b）提出了一种新的具身智能体基础模型（embodied Agent Foundation Model）。该模型融合了语言能力、视觉认知、上下文记忆和直觉推理，并能够以具有适应性的方式预测具身动作。这是首项使用从机器人、游戏和医疗任务中收集的具身数据，对基础模型进行预训练，以开发通用人工智能体的研究。

具身智能体可以被理解为一种交互式系统：它通过自身的感知能力与人类交流并与环境互动，同时采取符合人类意图的行动。正因如此，我们认为，大型具身基础模型的发展是 Agent AI 的一项重要贡献。这类模型使系统能够从不同领域的信息、动作、自然语言指令和多模态上下文中解析并推断人类意图。此外，通过积极利用以动作为基础的大型基础模型，我们的方法在开发一体化人工智能系统方面具有独特性。

在 Agent AI 框架的基础上，我们相信，人工智能研究群体将逐步积累必要的认识与知识，推动 AI 模型从执行被动、结构化任务，转向在复杂环境中承担动态、交互式角色。这是迈向通用人工智能（Artificial General Intelligence，AGI）的关键一步（见图 1）。

本文分析了一种新的 Agent AI 系统架构，并回顾了机器人、游戏和医疗等 Agent AI 应用领域的近期研究。此外，我们还探讨了 Agent AI 的认知层面，并介绍了可能受到 Agent AI 影响的研究领域，希望借此吸引更广泛的研究群体参与，并积极推动该领域的发展。

最后，我们讨论了未来的研究方向，其中包括必须解决的伦理挑战。通过这些讨论，我们希望说明：相关技术的发展正在如何推动 AI 智能体逐步接近 AGI，即整体智能。

2 Agent AI 范式

2.1 Agent AI 基础

我们将 Agent AI 定义为一种智能体：它能够根据感知输入，在物理环境、虚拟环境或混合现实环境中，自主执行适当且符合当前情境的行动。

Agent AI 代表了一种聚焦于具身智能的新范式，它强调：面对复杂且动态的环境，应当采用一体化方法来构建交互式智能体。这种方法建立在一个基本观点之上，即智能产生于学习、记忆、行动、感知、规划和认知之间复杂而紧密的相互作用（见图 2）。

学习（Learning）

Agent AI 能够通过获取新知识和更新已有技能来适应新的环境。为此，智能体需要观察环境、理解自身行动对环境产生的影响，并从人类示范中学习（Wake et al., 2021）。

例如，智能体可以采用强化学习（Reinforcement Learning，RL），或者基于人类示范的监督学习方法——如模仿学习（Imitation Learning，IL）和行为克隆（Behavior Cloning）——逐步改善自己的行为。

记忆（Memory）

长期记忆使智能体能够记住特定的操作，并根据当前环境或用户偏好调整这些操作。

相比之下，短期记忆记录的是智能体在一次任务执行过程中已经采取的行动，以及此前观察到的感知信息。借助短期记忆，系统可以根据历史信息重新进行规划，并思考下一步应当采取什么行动。

行动（Action）

Agent AI 的行动不一定是现实世界中的物理动作。根据环境的具体定义，行动也可以包括与虚拟现实（Virtual Reality，VR）环境进行交互，或者向人类说话。

智能体会根据记忆，通过认知过程从已经学会的技能中选择适当的行动。此外，现实世界中的操作通常无法一次完成，因此需要智能体与人类或环境进行多轮交互。这些交互同样由认知过程和记忆——例如对话历史——协调完成。

感知（Perception）

与人类一样，稳健的多模态感知能力对于智能体理解环境至关重要。

视觉感知是其中最重要的能力之一，它使智能体能够理解图像、视频和游戏画面等形式的世界信息。同样，听觉感知对于理解人类意图也非常重要。

规划（Planning）

规划是长期任务的重要组成部分。例如，机器人为了实现某个特定目标，需要在环境中对物体进行操作。

规划策略通常取决于任务目标。面向目标的规划能够实现灵活操作，使智能体可以适应由外部或内部干扰所造成的不确定性。

认知层面（Cognitive Aspects）

Agent AI 不仅关注各个独立组件的性能，也关注整个系统所能发挥的整体效用。

设想这样一个场景：一个机器人刚刚被拆箱启用，便开始与不具备专业知识的普通用户交流，并迅速适应用户的家庭环境，进而完成各种家务任务。

实现这样的系统非常困难，因为它需要一种机制来协调 Agent AI 的所有组成部分。这里所说的协调功能，就是 Agent AI 的认知层面。

图 2：Agent AI 范式

该范式用于支持具身的多模态通用智能体系统，包含以下五个主要模块：

1. 环境中的智能体与感知，包括任务规划和观察；
2. 智能体学习；
3. 记忆；
4. 行动；
5. 认知与意识。

我们认为，对这些组成部分进行紧密而协调的整合，有助于实现整体智能。

与以往的一些交互策略相比，该方法的一项关键区别是：训练完成后，智能体的行动可以直接影响任务规划，而不需要像以往的交互范式那样，必须先接收环境反馈，才能规划下一步行动。

2.2 Agent AI 的意识

Agent AI 可以超越简单的组件协调，并可能涉及某种形式的“意识”。

近期，一些研究尝试根据神经科学的认识判断 AI 是否具有意识。在这些研究中，神经科学家讨论了两个可能的意识指标：能动性（Agency）和具身性（Embodiment）（Butlin et al., 2023）。

能动性

能动性是指一个系统具备以下能力：

• 从反馈中学习；
• 为了实现目标而作出决策；
• 在相互冲突的目标之间进行调整。

它体现了系统通过与环境交互来实现目标的特征。

具身性

具身性涉及理解并利用“行动”与“环境反馈”之间的关系，从而影响智能体的感知或控制过程。

它强调智能体应当理解如何在认知过程中利用自身的身体，以及周围的环境。

本文提出的 Agent AI 根据语言信息——即文本指令——感知输入和行动历史来预测最优行动。由于它能够产生面向目标的行动，因此体现了能动性。

同时，它也能从自身行动与环境结果之间的关系中学习，因此符合具身性原则。

基于这些特征，我们或许能够对 Agent AI 意识的某些方面进行量化。这也表明 Agent AI 可能对多个学科产生影响，包括神经科学、生物学、物理学、生物物理学、认知科学、医疗健康和道德哲学。

开发 Agent AI 可以采用多种不同的方法。第 4 节将介绍一个具体的 Agent AI 实例；第 6 节则将讨论该领域面临的主要挑战以及需要采取的措施，其中包括 Agent AI 研究中的伦理问题。

3 智能体基础模型

Agent AI 系统可以与环境、人类以及其他智能体进行交互。我们认为，“智能体与环境的交互”所涵盖的范围比具身智能体更广。例如，环境智能（Ambient Intelligence）系统即使没有具体的物理实体，也可以嵌入环境并与环境交互。

能够与人类交互的智能体系统也是该领域重点关注的方向。我们坚信，人类与智能体之间的多模态交互不应局限于高层意图指令。面向人机交互中的低层细粒度动作控制，这是一项很有前景的研究方向。

我们还希望开发能够在多智能体基础设施中实现有效的智能体间通信和高效协作的系统，并探索新的智能体范式和智能体学习策略。

本节将概述一种结合基础模型与最新机器学习技术的 Agent AI 系统。该系统由三个部分组成：

1. 交互式智能体 Transformer；
2. 采用强化学习和模仿学习的智能体基础模型学习策略；
3. 自我改进机制。

3.1 智能体 Transformer

图 3：交互式智能体基础模型框架概览

该 Transformer 被设计用于处理处于不同抽象层级的多模态信息。这种方法可以帮助智能体更全面地理解上下文，从而采取更加连贯的行动。该框架能够跨越多种任务领域和应用进行学习。

本文分析了一种基于 Transformer 的多模态编码器（见图 3）。它使交互式智能体能够根据多模态信息采取行动。该模型通过三个预训练子模块进行初始化：

• 视觉模块；
• 智能体行动模块；
• 语言模块。

为了促进跨模态信息共享，Durante et al.（2024b）提出的基础模型允许智能体预测行动或“行动词元”（action tokens），从而完成机器人、游戏和交互式医疗等领域的具身任务。

在预训练过程中，该模型还会将多种历史数据输入 Transformer，作为上下文。这些数据包括但不限于：

• 此前执行的低层细粒度行动，即智能体信息；
• 视频或图像；
• 音频；
• 语言；
• 高层指令。

因此，在任意给定的时间步上，模型都可以预测低层操作词元，即行动词元；通用智能体类型，例如游戏中的 TypeChat；或者高层指令，例如智能体意图。

此外，这个统一的 Transformer 还能够根据文本提示、视觉上下文和先前行动生成高层指令。通过这种方式，模型可以同时考虑当前上下文和历史交互，从而更加准确地响应当前任务。

3.2 智能体学习策略

强化学习（Reinforcement Learning，RL）

为了根据行动产生的奖励或惩罚，学习状态与行动之间的最优关系，我们可以使用强化学习。

强化学习是一种具有较强扩展性的框架，目前已经应用于包括机器人在内的许多领域。在不少应用中，收集人类示范既困难又昂贵。例如，研究人员可能需要在自动生成的虚拟环境中学习行动策略。在这类场景中，强化学习尤其有效，采用演员-评论家架构的 PPO 算法就是一个典型例子（Schulman et al., 2017）。

强化学习还可以用于建模人类与 AI 之间的交互，而这是交互式 Agent AI 的一个重要方面。例如，可以通过人类反馈强化学习（Reinforcement Learning from Human Feedback，RLHF）训练智能体（Ouyang et al., 2022）。这样，人类可以直接选择自己希望得到的响应，而无须手工设计奖励函数。

模仿学习（Imitation Learning，IL）

模仿学习利用示范数据，使智能体模仿人类专家的行动。

例如，在机器人领域，行为克隆（Behavioral Cloning，BC）是模仿学习的一种主要框架。行为克隆直接复制人类专家的行动，以此训练机器人模仿专家。具体而言，研究人员首先记录专家执行特定任务时的行动，然后训练机器人，使其能够在相似情境中复现这些行动。

近期基于行为克隆的方法通常会融合大语言模型或视觉语言模型技术，从而构建更加先进的端到端模型。

例如，Brohan 等人提出了 RT-1（Brohan et al., 2022）和 RT-2（Brohan et al., 2023）。这两种基于 Transformer 的模型以一系列图像和语言信息为输入，为机器人的底座和机械臂输出行动序列。据报道，由于使用了大量示范数据进行训练，这些模型表现出了很强的泛化能力。

传统 RGB 输入

多年来，利用图像输入学习智能体行为一直是一个受到广泛关注的研究方向（Mnih et al., 2015）。使用 RGB 图像作为输入时，一个内在挑战是“维数灾难”。

为了解决这个问题，研究人员通常采用两种方法：

1. 使用更多数据（Jang et al., 2022；Ha et al., 2023）；
2. 在模型设计中引入归纳偏置，以提高样本效率。

在操作任务中，一些研究将三维结构融入模型架构（Zeng et al., 2021；Shridhar et al., 2023；Goyal et al., 2023；James and Davison, 2022）。

在机器人导航任务中，研究人员则使用地图作为环境表示（Chaplot et al., 2020a,b）。地图既可以由神经网络聚合此前所有 RGB 输入并学习得到，也可以通过神经辐射场（Neural Radiance Fields，NeRF）等三维重建方法生成（Rosinol et al., 2022）。

3.3 智能体系统中的优化

智能体系统的优化可以分为空间优化和时间优化两个方面。

空间优化

空间优化关注智能体如何在物理空间中执行任务，包括机器人之间的协调、资源分配以及维持空间的有序状态。

为了有效优化 Agent AI 系统，特别是包含大量并行行动智能体的系统，以往研究主要采用大批量强化学习方法（Shacklett et al., 2023）。

由于面向特定任务的多智能体交互数据集较为稀缺，自博弈强化学习可以让智能体团队随着时间推移不断进步。然而，这种方法也可能产生非常脆弱的智能体：由于过度拟合自博弈训练范式，它们只能在自博弈条件下正常工作，却无法与人类或其他独立智能体顺利合作。

为了解决这一问题，我们可以发现并建立多样化的协作约定（Cui et al., 2023；Sarkar et al., 2023），然后训练能够理解广泛约定的智能体。基础模型还可以帮助智能体与人类或其他独立智能体建立协作约定，从而与新智能体顺畅配合（Gong et al., 2023）。

时间优化

时间优化关注智能体如何随时间推进来执行任务，包括任务调度、任务排序以及时间安排效率。

例如，对机械臂的运动轨迹进行优化，就是在连续任务之间提高运动效率的一种方法（Zhou et al., 2023b）。

在任务调度层面，LLM-DP（Dagan et al., 2023）和 ReAct（Yao et al., 2023）等方法通过交互式地考虑环境因素，解决高效任务规划问题。

3.4 Transformer 的自我改进

目前，基于基础模型的 AI 智能体已经能够从多种不同的数据来源中学习，因此可以更加灵活地获得训练数据。这会带来两个重要结果：

1. 可以使用用户数据和人机交互数据进一步优化、改进智能体；
2. 可以使用现有的基础模型及其模型产物生成训练数据。

后续章节将更加详细地讨论这两点。不过，需要注意的是，当前的 AI 智能体在很大程度上依赖已有的预训练基础模型，因此通常无法通过与环境持续交互来不断学习。

我们认为，持续学习是一个令人期待的未来研究方向。Bousmalis 等人的初步研究已经表明，用于机器人控制的自我改进智能体能够在没有监督的情况下，通过与环境交互持续学习和改进（Durante et al., 2024b；Bousmalis et al., 2023）。

此外，迭代学习过程还可以利用人类反馈（Gong et al., 2023）。

例如，在机器人教学场景中，Agent AI 可以根据人类提供的多模态指令，理解自己需要完成什么任务（Wake et al., 2021）。随后，它根据这些指令生成图像或场景，并使这些内容能够在虚拟世界中进行操作。

系统利用用户反馈不断重复这一过程，使 Agent AI 得以逐步改进，并适应所在的环境。

4 Agent AI 的分类

Agent AI 的目标是开发能够在不断变化的世界中灵活行动并与之交互的智能体。这些智能体通过直接参与环境交互，学习并解决复杂任务。

通用基础模型的显著进展推动了这一领域的发展，使 AI 在过去被认为极具挑战性的多个领域中取得了超越人类的表现。这些进展也大幅提升了具身人工智能的能力。

研究人员正在迅速推进能够实现以下能力的智能体：

• 感知周围环境；
• 进行自然语言对话；
• 理解并回应听觉输入；
• 在环境中导航和操作，以实现特定目标；
• 推理自身行动所产生的长期后果。

我们尤其关注具身 AI 系统的多模态特性，以及如何开发新的方法，将多种感官输入综合转化为有意义的智能体输出。

4.1 具身智能体分类

图 4：智能体空间的两个分类维度

具身 Agent AI 可以根据其是否需要在现实或虚拟环境中执行低层级、细粒度的动作进行分类。本文将这种动作称为操作行动（manipulation action），例如预测具体动作。

与之相对，智能体的行动也可能主要用于向机器人或人类传递高层信息或意图指令。本文将这种行动称为意图行动（intention action），例如通用任务规划。

智能体所在的环境则可以大致分为物理世界和虚拟世界。根据“行动类型”和“环境类型”这两个维度，本文将具身与交互式智能体划分为四个主要类别。

Agent AI 是指整合了大型基础模型的 AI 系统。因此，近期许多基于大语言模型或视觉语言模型的 AI 系统都可以归入 Agent AI 的不同子类别。

具体而言，如图 4 所示，本文按照智能体的行动类型及其所处环境对 Agent AI 进行分类：

环境与行动	操作行动	意图行动
物理环境	物理环境中的操作行动	物理环境中的意图行动
虚拟环境	虚拟环境中的操作行动	虚拟环境中的意图行动

本节将回顾相关研究（Durante et al., 2024a），并按照以上四个类别进行整理。附录 A 还进一步讨论了同时结合意图智能体和操作智能体的系统。

4.1.1 物理环境中的操作行动

这一类别的智能体被设计用于物理世界，机器人应用是其中的典型例子（Ahn et al., 2022a；Huang et al., 2022b；Liang et al., 2022；Driess et al., 2023；Brohan et al., 2023）。

采用端到端方式训练智能体完成物理操作通常非常困难，因为收集大量训练数据需要付出很高的成本。

因此，近期研究趋势逐渐转向使用大型基础模型解决高层任务规划问题，再将其与通过传统方法训练的低层控制器相结合。相关研究包括 RT-1（Brohan et al., 2022）、RT-2（Brohan et al., 2023）以及智能体基础模型（Durante et al., 2024b）。

也就是说，大模型主要负责理解目标并制定计划，而专门的低层控制器负责把计划转化为机器人可以实际执行的精细动作。

4.1.2 虚拟环境中的操作行动

这类智能体使用虚拟仿真环境。

在机器人领域，其主要目标是通过反复试错来训练 Agent AI，尤其适用于那些在物理世界中进行试验不切实际或风险较高的任务。这些任务包括预测用户行动，以及在特定约束条件下制定任务计划（Ahn et al., 2022b；Brohan et al., 2023；Durante et al., 2024b；Gong et al., 2023）。

对于游戏智能体而言，研究目标通常不是最终将智能体迁移到物理世界；智能体在仿真环境中的学习本身就是主要目标（Park et al., 2023c；Wang et al., 2023b,e；Baker et al., 2022）。

另有多项研究表明，在大规模文本、图像和视频数据上训练，并与视觉信息对齐的通用大语言模型，可以成为构建多模态具身智能体的基础。这些智能体能够在不同环境中采取行动（Baker et al., 2022；Driess et al., 2023；Brohan et al., 2023；Durante et al., 2024b）。

相关研究通常会使用仿真平台来开展物体识别等任务（Kolve et al., 2017；Wang et al., 2023d；Mees et al., 2022；Yang et al., 2023a；Ehsani et al., 2021；Szot et al., 2021；Puig et al., 2018；Carroll et al., 2019；Li et al., 2021；Srivastava et al., 2022；Mittal et al., 2023；Zhong et al., 2023；Liu and Negrut, 2021；Saito et al., 2023；Huang et al., 2022a）。

4.1.3 物理环境中的意图行动

这类交互式智能体的典型应用可以在医疗健康领域找到，例如辅助诊断和知识检索（Lee et al., 2023；Peng et al., 2023）。

在类似的应用背景下，一些研究开发了能够感知和表达同理心的智能体，用于参与对话和人机交互（Chen et al., 2021；Mao et al., 2022；Wake et al., 2023a；Savva et al., 2019；Puig et al., 2023；Huang et al., 2018）。

在其他情况下，Agent AI 对知识和逻辑推理的关注涉及隐式知识与显式知识的整合。这种整合使智能体能够生成更加准确、更加符合当前情境的回答（Brown et al., 2020；OpenAI, 2023；Lewis et al., 2020；Peng et al., 2023；Gao et al., 2022；Marcus and Davis, 2019；Gao et al., 2020；Wang et al., 2023a；Chen et al., 2020；Park et al., 2023a；Li et al., 2023b）。

4.1.4 虚拟环境中的意图行动

这一类别的 Agent AI 研究表明，智能体可以用于在游戏、虚拟现实（VR）和扩展现实（XR）中创建交互式内容（Chen et al., 2021；Mao et al., 2022；Huang et al., 2023b）。

按照指令进行导航也是这一类别中的代表性任务（Tsoi et al., 2022；Deitke et al., 2020）。

与执行意图行动的游戏智能体类似，这类 Agent AI 已经在一些特定游戏中展现出超越人类的表现（Meta Fundamental AI Research et al., 2022；Yao et al., 2023）。

近期的机器人研究也使用大语言模型进行任务规划（Ahn et al., 2022a；Huang et al., 2022b；Liang et al., 2022）。其做法是把自然语言指令分解为一系列子任务，以自然语言或 Python 代码的形式表达这些子任务，再由低层控制器负责执行。

4.2 多模态智能体分类（非具身）

这一类智能体强调使用多模态信息，从各自的应用角度产生有用的非具身行动。这意味着智能体需要同时具备较强的语言识别能力和视觉识别能力，也进一步说明了利用大型基础模型的有效性。

多模态智能体已经在多种任务中展现出重要价值。大规模基础模型和交互式人工智能的进步，为多模态智能体带来了新的能力。

许多研究使用多模态智能体执行任务规划（Huang et al., 2022a；Wang et al., 2023b；Yao et al., 2023；Li et al., 2023b），利用大型多模态模型从互联网规模数据中获得的领域知识及其零样本规划能力，完成规划、推理等智能体任务。

此外，Huang et al.（2022b）、Liang et al.（2022）和 Wang et al.（2023e）还将环境反馈纳入智能体系统，以提高任务表现。

不过，要让 Agent AI 真正发挥作用，它必须提供直观的交互体验，并能适应多种环境、上下文和信息模态。

为了推动这一领域的研究，本文提出了一套广泛的非具身多模态智能体分类。它包括但不限于以下类别（Gui et al., 2022a；Park et al., 2023b）：

• 仿真与环境智能体（Puig et al., 2018）；
• 生成式智能体（Huang et al., 2023b）；
• 知识与逻辑推理智能体（Lewis et al., 2020；Peng et al., 2023；Wang et al., 2023a；Gui et al., 2022b）；
• 情感智能体（Chen et al., 2021）；
• 神经符号智能体（Chen et al., 2020）；
• 面向传统多模态任务的智能体；
• 多模态智能体系统及其基础设施；
• 多模态智能体的实际应用。

5 Agent AI 的应用任务

第 4 节对 Agent AI 领域的现有研究进行了分类。为了更加具体地说明 Agent AI 的应用，本节介绍四个可能受到 Agent AI 重大影响的关键领域。

5.1 机器人

机器人是一类具有代表性的智能体，需要与周围环境进行有效交互。本节介绍实现高效机器人操作所必需的关键要素，回顾大型基础模型已经得到应用的研究课题，并总结近期研究提供的启示。

多模态系统（Multimodal Systems）

近期研究重点开发端到端机器人系统。这些系统将大型基础模型作为输入信息的编码器，根据语言指令和视觉线索引导机器人行动（Huang et al., 2018；Jiang et al., 2022；Brohan et al., 2022, 2023；Li et al., 2023f；Ahn et al., 2022b；Shah et al., 2023b；Li et al., 2023c）。

换言之，机器人不再只接收一种形式的输入，而是综合理解语言、图像及其他感知信息，再决定应当执行的动作。

任务规划与技能训练（Task Planning and Skill Training）

大语言模型先进的语言处理能力可以解释人类指令，并将其分解为一系列机器人行动步骤，从而推动任务规划技术的发展（Ni et al., 2023；Li et al., 2023a；Parakh et al., 2023；Wake et al., 2023b）。

在技能训练方面，大型基础模型可以用于：

• 设计奖励函数（Yu et al., 2023；Katara et al., 2023；Ma et al., 2023）；
• 为策略学习生成训练数据（Kumar et al., 2023；Du et al., 2023）；
• 直接作为奖励函数的一部分（Sontakke et al., 2023）。

现场优化（On-site Optimization）

现场优化是指将任务计划与实时环境数据结合起来，动态调整和改进机器人的技能（Ahn et al., 2022b；Zhou et al., 2023b；Raman et al., 2023；Chen et al., 2021）。

相关策略试图使机器人的执行真正建立在当前环境之上。为此，系统可以在任务规划层面调整整体计划，也可以在控制器层面修正机器人的具体动作。

对话智能体（Conversation Agents）

大语言模型可以帮助对话机器人与人类进行自然且符合上下文的交流（Ye et al., 2023；Wake et al., 2023d）。

这些模型能够处理语言并生成类似人类对话的回答，还能估计话语中包含的概念属性（Hensel et al., 2023；Teshima et al., 2022）和情感属性（Zhao et al., 2023；Yang et al., 2023b；Wake et al., 2023a）。

导航智能体（Navigation Agents）

机器人导航的核心问题包括基于地图的路径规划，以及同步定位与建图（Simultaneous Localization and Mapping，SLAM）（Guimarães et al., 2016）。

近期研究使机器人能够在具有挑战性的环境中，根据物体名称进行导航（Chaplot et al., 2020a；Batra et al., 2020；Gervet et al., 2023；Ramakrishnan et al., 2022；Zhang et al., 2021），或者执行零样本物体导航，即寻找训练期间没有专门见过的目标物体（Gadre et al., 2023；Dorbala et al., 2023；Cai et al., 2023）。

视觉语言导航（Vision-Language Navigation，VLN）要求机器人理解自然语言句子，并在未见过的环境中进行导航（Anderson et al., 2018；Shah et al., 2023a；Zhou et al., 2023a；Dorbala et al., 2022；Liang et al., 2023；Huang et al., 2023a）。

由于视觉语言导航需要理解完整句子，而不仅仅是识别物体名称，因此它要求系统具备更强的文本解析能力（Wang et al., 2019）。

5.2 游戏

游戏提供了一个独特的“沙盒环境”，可以用来检验大型基础模型的智能体行为，并探索其协作和决策能力的边界。

本节重点介绍四个方面，用以体现智能体与人类玩家、其他智能体进行交互的能力，以及它在环境中采取有意义行动的能力。

非玩家角色行为（NPC Behavior）

在现代游戏系统中，非玩家角色（Non-Player Characters，NPC）的行为主要由开发人员编写的预定义脚本决定。这些脚本规定了 NPC 如何根据游戏环境中的各种触发条件或玩家行动作出反应和进行交互。

在这一背景下，Agent AI 有望推动 NPC 技术发生重大变化。通过使用大型基础模型，Agent AI 可以生成动态对话，并根据玩家反馈和游戏数据不断改进角色行为，从而显著促进游戏 NPC 的发展。

人类与 NPC 的交互（Human-NPC Interaction）

Agent AI 在改善人类玩家与 NPC 之间的互动、提供更具沉浸感的游戏体验方面发挥着重要作用。

传统的交互模式基本上是单向的：NPC 仅按照预先设定的方式回应玩家输入。使用大型基础模型的 Agent AI 则可以分析人类行为并从中学习，从而提供更接近人类的互动，提高游戏的真实感和沉浸感（Gong et al., 2023）。

基于智能体的游戏分析（Agent-based Analysis of Gaming）

游戏已经成为日常生活的重要组成部分。据估计，全球约有一半人口参与游戏活动（Intelligence, 2020），而游戏也可能对心理健康产生积极影响（Granic et al., 2014）。

然而，由于游戏角色的行为主要由开发人员手工设计，现代游戏系统在与人类玩家互动时常常存在不足。

在这种情况下，Agent AI 可以发挥重要作用。它能够：

• 分析聊天记录、玩家反馈等游戏内文本数据；
• 识别玩家的行为模式和偏好；
• 分析游戏过程中的图像及视频数据；
• 理解用户的意图和行动。

游戏场景合成（Scene Synthesis for Gaming）

场景合成对于创建和改善沉浸式游戏环境十分重要，包括生成三维场景、创建地形、放置物体、构建逼真的光照，以及生成动态天气系统（Huang et al., 2023b）。

现代游戏通常需要提供规模庞大的开放世界，因此必须采用程序化技术或 AI 驱动的方法来自动生成地形。

使用大型基础模型的 Agent AI 可以根据设计师的意图和当前场景，制定不重复且独特的景观设计规则，在保证所生成资产语义一致性的同时提供足够的变化。

这些模型还可以加快物体放置和内容生成的过程，从而提高整体设计效率。

5.3 交互式医疗

在医疗健康领域，Agent AI 可以利用大型基础模型理解用户意图、检索临床知识，并掌握正在发生的人际互动，从而同时帮助患者和医生。其能力并不限于这些方面，具体应用包括以下几类。

诊断智能体（Diagnostic Agents）

使用大语言模型构建医疗聊天机器人并辅助患者诊断已经受到广泛关注。这类系统可能帮助医疗机构对患者进行分诊和初步诊断，并使不同人群获得更加公平的医疗服务（Lee et al., 2023）。

医疗智能体能够理解不同的语言、文化背景和健康状况，因此可能成为改善数百万人医疗服务的一种途径。

初步研究结果表明，在大规模网络数据上训练并掌握医疗知识的大语言模型具有一定潜力（Durante et al., 2024a,b）。不过，模型在医疗场景中产生“幻觉”或错误信息的风险，仍然是一项不可忽视的挑战。

知识检索智能体（Knowledge Retrieval Agents）

在医疗环境中，模型幻觉可能十分危险，甚至可能对患者造成严重伤害或导致死亡。

因此，使用智能体进行可靠的知识检索（Peng et al., 2023），或者采用基于检索的文本生成方法（Guu et al., 2020），都是很有前景的研究方向。

将诊断智能体与医疗知识检索智能体结合，可以降低模型产生幻觉的概率，并提高回答的质量、准确性和精确程度。

远程医疗与远程监测（Telemedicine and Remote Monitoring）

在远程医疗和远程监测中，基于智能体的 AI 可以扩大医疗服务的可及性，改善医护人员与患者之间的沟通，并提高医患互动的效率（Amjad et al., 2023）。

智能体可以协助分流和整理来自医生、患者及其他医疗服务人员的信息，突出显示重要通信内容，并可能推动远程医疗和数字健康行业发生重大变化。

5.4 交互式多模态任务

视觉理解与语言理解的结合是 Agent AI 的基础。因此，Agent AI 的发展与多模态任务的表现密切相关。这些任务包括：

• 图像描述生成；
• 视觉问答；
• 视频语言生成；
• 视频理解。

以下是近期受到广泛关注的一些任务。

图像与语言的理解和生成

图像语言理解要求系统使用语言解释给定图像中的视觉内容，并生成与之相关的语言描述。

这项任务对于开发能够以更加接近人类的方式与世界交互的 AI 智能体至关重要。常见任务包括：

• 图像描述生成（Lin et al., 2014；Sharma et al., 2018；Young et al., 2014；Krishna et al., 2016）；
• 指代表达，即使用语言指向图像中的特定对象（Yu et al., 2016；Karpathy et al., 2014）；
• 视觉问答（Antol et al., 2015；Ren et al., 2015；Singh et al., 2019）。

这些任务要求的能力远远超出简单的物体识别。智能体需要深入理解空间关系和视觉语义，并结合世界知识，才能进行准确描述和推理。

视频与语言的理解和生成

视频描述与视频故事生成要求系统针对一系列视频帧生成连贯的句子。这项任务具有较大挑战，因为系统必须全面理解每一帧内容及不同帧之间的关系。

近期研究利用大型基础模型改善视频语言生成，并着重开发能够感知智能体的文本生成模型，使其可以编码视频序列并生成连贯段落。

视频理解将图像理解扩展到了动态内容。它要求智能体同时处理视觉、文本和音频等模态。关键任务包括：

• 视频描述生成；
• 视频问答；
• 活动识别。

这些任务主要关注时间对齐、序列处理以及复杂活动的解释。智能体还需要处理语音、背景声音等音频线索，以理解视频的情绪和细微含义。

与此同时，另一类研究首先利用大型模型生成具有一定规模的数据集，再使用生成的数据进行视觉指令微调（Durante et al., 2024a,b；Li et al., 2023d；Zhu et al., 2023）。

随后，系统使用多种音频、语音和视觉专家感知模型，将视频内容转化为语言：

• 使用自动语音识别工具转录视频中的语音；
• 使用不同的标注、定位和描述模型，生成视频描述及相关数据（Li et al., 2023e；Maaz et al., 2023；Chen et al., 2023；Wang et al., 2023c）。

这些技术表明，使用生成的数据集对视频语言模型进行指令微调，可能增强模型的视频推理和交流能力。

由此形成的智能体能够理解视频的上下文，识别其中的关键步骤，并生成连贯的操作过程摘要。这不仅能够提高模型的可解释性，还能使模型向用户提供有用的反馈或指导。

论文在附录 B.1、B.2 和 B.3 中进一步讨论了跨模态与混合现实相关主题。

6 Agent AI 的部署

我们认为，为了开发一个整合上述要素的系统，需要来自广泛领域的专家和实践人员共同参与。以下是一些重要的研究方向。

探索新的范式

开发能够整合音频、图像、文本和传感器输入等多种模态的智能体范式，可能有助于解决大型模型普遍存在的问题，例如输出中的幻觉和偏见，从而增强智能体在各种应用中的识别与响应能力。

通用端到端系统

通过使用大规模数据训练端到端模型，可以推动形成用途广泛、适应能力较强的 AI 解决方案。

模态落地方法

通过整合不同模态的信息，可以提高数据处理的一致性和有效性。论文在附录 B.1 中进一步讨论了这个问题。

这里的“落地”（grounding）是指把语言、图像等抽象信息与现实环境中的对象、状态或行动对应起来。

直观的人机界面

开发直观的人机界面，可以促进人类与智能体之间有效且有意义的交互。

驯服大语言模型和视觉语言模型

研究新的方法，可以帮助解决大型基础模型输出中的幻觉和偏见等常见问题，使 LLM 和 VLM 的行为更加可靠、可控。

弥合仿真与现实之间的差距

“从仿真到现实”（sim-to-real）问题，指的是将在仿真环境中训练的 AI 智能体部署到现实世界时所面临的困难。

现实世界与仿真环境之间通常存在差异，例如环境干扰和物理属性不完全一致。这些差异可能导致智能体的实际表现下降。解决这一问题的策略包括：

领域随机化（Domain Randomization）

在仿真环境中主动引入变化，使模型能够更好地应对现实世界中的不确定性（Tobin et al., 2017；Saito et al., 2022）。

领域适应（Domain Adaptation）

同时使用仿真数据和现实世界数据进行训练，以缩小仿真与现实之间的差距（Zhu et al., 2017a；Rao et al., 2020；Ho et al., 2021）。

改善仿真环境（Improvement of Simulation）

更加准确地复现现实世界的条件，提高仿真环境的保真度（Zhu et al., 2017b；Allevato et al., 2020；Martinez-Gonzalez et al., 2020；Müller et al., 2018；Shah et al., 2018；Sasabuchi et al., 2023）。

多智能体系统

Agent AI 中的多智能体交互目前仍然是一个复杂过程，需要综合多种不同的技能。

当前多智能体系统内部的人机交互机制主要依靠预先设定的协作规则。这些系统能够针对人类或用户的行动表现出一定程度的智能行为，并在一定程度上掌握网络知识（Gong et al., 2023）。

多智能体之间的这种交互对于智能体的发展非常重要，因为它可以帮助系统设计者在智能体系统中实现特定的协作行为。

智能体基础设施与系统

基于智能体的人工智能已经在娱乐、科研和工业领域形成了一个规模庞大且发展迅速的研究群体。大型基础模型的发展显著提高了 Agent AI 系统的性能。

不过，这类智能体的发展受到两方面因素的限制：

• 创建高质量数据集所需的工作量不断增加；
• 系统开发与训练的整体成本较高。

在工业领域，通过使用先进硬件、多样化数据来源和强大的软件库来构建高质量智能体基础设施，已经显著推动了多模态智能体助手的发展（Gong et al., 2023）。

Agent AI 日益普及，也更加凸显出建设可靠基础设施的必要性。这些基础设施需要支持智能体的训练、评估和部署。

为此，作者提出设立一个专门的智能体研究方向，重点关注与 Agent AI 的开发、评估和部署相关的基础设施及方法。作者预计，该方向将吸引大量关于智能体系统效率和优化的研究。

Agent AI 基础设施的目标，是让更广泛的研究群体能够方便地使用相关研究成果并从中受益，从而推动该领域进一步发展。

论文分别在附录 C 和附录 D 中进一步讨论偏见与幻觉问题。

7 Agent AI 面临的挑战

本文特别强调识别当前 Agent AI 的局限，并讨论在迈向更深入、更全面的 AGI 过程中所面临的挑战。这其中可能包括探索一种超越“预测下一个词”的新范式。

实现 Agent AI 仍然面临多项困难，特别是在物理世界中处理具有高度多模态观察信息的动态系统时。需要解决的挑战包括但不限于以下四个方面。

1. 非结构化环境

在非结构化环境中，即使目标指令相同，当前视觉输入也可能同时影响具身智能体的高层意图和低层行动。

因此，智能体不能只机械地执行预定计划，还需要根据环境中的实时变化，同时调整总体目标理解和具体操作。

2. 智能体的共情与常识能力

当环境中出现开放类别或此前未见过的对象时，智能体的决策模块需要运用常识知识。这些知识往往难以通过人工方式完整编码。

与此同时，与人类自然交互还要求智能体理解人的情绪、意图和处境，因此需要具备一定程度的共情能力。

3. 多智能体交互与协作

多智能体交互与协作要求智能体理解和执行的不只是模板化命令，还包括使用日常语言表达的：

• 目标；
• 约束条件；
• 不完整的计划；
• 具体情境信息。

为了更加全面地应对这些复杂挑战，来自更广泛学科的研究人员和实践人员必须共同参与。

4. 具身大型智能体基础模型的涌现能力

作者希望借助不同研究者独特而多样的视角，扩大我们对智能体范式潜力与局限的共同认识。

作者相信，这种新的智能体范式不仅可以丰富每位研究者和实践人员的认识，也可以增加整个研究群体的集体知识，形成一种更加整体、更加包容的视角，以应对未来 Agent AI 所面临的广泛挑战。

8 涌现能力

尽管交互式 Agent AI 系统正在得到越来越广泛的采用，大多数已提出的方法在未见过的环境或场景中仍然面临泛化能力不足的问题。

目前的建模方式要求开发人员为每个应用领域准备大型数据集，再对模型进行微调或预训练。这个过程成本很高；如果面对的是全新领域，收集足够的数据甚至可能是不现实的。

为了解决这个问题，作者提出构建一种交互式智能体，使其能够在新场景中利用通用基础模型——例如 ChatGPT、DALL-E 和 GPT-4——内部积累的知识与记忆，尤其用于在人类与智能体之间建立协作空间。

作者提出了一种涌现机制，并将其称为：

基于知识推理交互的混合现实（Mixed Reality with Knowledge Inference Interaction）

该机制能够帮助智能体与人类协作，在复杂的现实环境中解决具有挑战性的任务，同时探索未见过的环境，并将学到的能力适配到虚拟现实中。

在该机制中，智能体学习两类能力。

1. 跨模态的微观反应

智能体为每一项交互任务收集相关的具体知识。例如，在理解未见过的场景时，它可以：

• 从公开的网络来源中显式检索知识；
• 根据预训练模型的输出隐式推断知识。

这使智能体能够针对每一次具体交互，形成适当的局部反应。

2. 不依赖现实形态的宏观行为

智能体改善语言和多模态领域中的交互维度与交互模式，并根据角色特征、特定目标变量，以及混合现实和大语言模型中协作信息的变化来调整行为。

作者研究了由知识引导的交互协同效应，将多种 OpenAI 模型结合起来，共同生成协作场景。研究结果初步表明，在这一设定中，交互式智能体系统可以进一步增强大型基础模型的能力。

这种机制能够整合并提升复杂自适应 AI 系统的泛化深度、意识性和可解释性。

9 影响声明

Agent AI 范式的目标，是创造能够在现实环境和虚拟环境中与人类共同工作的通用智能体。因此，这一范式可能产生非常广泛的影响，并可能影响社会中的所有成员。

Agent AI 框架强调将智能体整合到更广泛的环境中，应用场景包括游戏、机器人、医疗健康和长视频理解。

游戏领域

多模态游戏智能体的发展可能带来更具沉浸感和个性化的游戏体验，从而推动游戏产业发生变化。

机器人领域

自适应机器人系统的发展可能改变从制造业到农业的多个行业，缓解劳动力短缺问题并提高生产效率。

医疗健康领域

将大型基础模型用于诊断智能体或患者护理助手，可能产生以下价值：

• 提高诊断准确性；
• 改善患者护理质量；
• 提高医疗服务的可及性；
• 改善医疗资源不足地区的服务条件。

长视频理解

模型理解长视频的能力可能产生广泛应用，例如改善在线学习体验，以及提高技术支持服务的质量。

总体而言，Agent AI 框架可能对全球众多行业及其从业者产生显著的下游影响。

不同领域存在不同风险

在多种环境和情境中部署 AI 智能体，也会带来复杂而多样的挑战。

例如，当 Agent AI 被用于医疗诊断等专业领域时，会面临许多限制和潜在危险。在这类应用中，AI 行为产生危险幻觉可能造成严重风险，因此系统必须经过极为谨慎的设计和测试。

不过，这些挑战在游戏领域可能没有同等的重要性，也可能并不明显。

在娱乐性应用中，开发人员可能更加关注其他问题，例如要求 AI：

• 进行更加开放的内容生成；
• 表现出创造力；
• 动态适应不可预测的游戏过程；
• 动态适应不同玩家的交互行为。

因此，对 Agent AI 的评价、安全要求和设计重点，需要根据具体应用领域进行调整。

10 结论

本文提出的 Agent AI 聚焦于先进的多模态系统。这些系统能够在物理环境和虚拟环境中有效交互，同时促进智能体与人类之间的有效互动。

本文希望汇聚不同领域的研究人员，深化围绕 Agent AI 的讨论。这项研究跨越多个人工智能方向，包括：

• 智能体范式；
• 基础模型；
• 基础设施；
• 智能体系统。

作者的目标是丰富科学界对 Agent AI 的理解，并探索具身智能体在整体智能研究中的潜力。

这项工作将使研究者能够更加有效地利用不断涌现的基础模型。