weixin_43961909的博客

在过去的两年里，基于大型语言模型(LLM)的多智能体系统经历了从劳动密集型手工设计到部分自动化(例如，即时工程、通信拓扑)以及最终到全自动化设计的演变。然而，现有的代理自动化管道通常缺乏LLM异构性，并专注于单目标性能优化，这限制了它们将较弱的模型组合成更加定制和经济高效的解决方案的潜力。为了应对这一挑战，我们提出了EvoFlow，这是一个基于小生境进化算法的框架，用于自动搜索异构和复杂性自适应的代理工作流群体，而不是单个同构的复杂工作流。

大型语言模型(LLM)在解决跨不同领域的复杂任务方面表现出显著的潜力，通常通过采用遵循详细指令和操作序列的代理工作流来实现。然而，构建这些工作流需要大量的人力，限制了可扩展性和可推广性。最近的研究已经寻求自动化这些工作流的生成和优化，但是现有的方法仍然依赖于初始的手动设置，并且不能实现完全自动化和有效的工作流生成。为了应对这一挑战，我们将工作流优化重新表述为代码表示的工作流上的搜索问题，其中LLM调用节点由边连接。

本文介绍了Opus，这是一个新颖的框架，用于生成和优化针对复杂业务流程外包(BPO)用例定制的工作流，重点关注降低成本和提高质量，同时遵守既定的行业流程和运营约束。我们的方法从意图生成可执行的工作流，定义为客户端输入、客户端输出和过程上下文的对齐。这些工作流被表示为有向无环图(Dag ),节点作为由可执行指令序列组成的任务，包括工具和人类专家评审。我们采用两阶段方法:工作流生成和工作流优化。

强大的大型语言模型(LLM)的出现激发了一种新的趋势，即构建基于LLM的自治代理来解决复杂的任务，尤其是多代理系统。尽管取得了显著的进步，我们注意到现有的工作严重依赖于人设计的框架，这极大地限制了代理系统的功能范围和可扩展性。如何将专门的智能体自动扩展到多智能体系统以提高任务求解能力仍然是一个重大的挑战。本文介绍了EVOAGENT，一种通过进化算法将专家代理自动扩展到多代理系统的通用方法，从而提高基于LLM的代理在解决任务时的效率。

已证明由大语言模型（LLM）提供动力的多机构系统（MAS）可以推动LLM功能的界限，但它们经常会造成巨大的成本并在动态LLM选择中面临挑战。当前的LLM路由方法通过为每个查询自定义LLM选择有效地减少了单个代理方案中的开销，但它们忽略了有关MAS中协作模式和代理角色的关键决策。为了应对这一挑战，我们首先介绍了多代理系统路由（MASR）的问题，该问题将MAS的所有组件集成到统一的路由框架中。为了实现这一目标，我们提出了Masrouter，这是第一个高性能，具有成本效益和电感的MASR解决方案。

大型语言模型(LLM)已经成为各种NLP任务的强大技术，例如数学推理和计划生成。在本文中，我们研究复杂运筹学问题的自动建模和编程，以减轻对领域专家的严重依赖，并使一系列工业部门受益。我们提出了第一个基于LLM的解决方案，即专家链(CoE)，这是一个新颖的多智能体协作框架，用于增强推理能力。具体来说，每个代理都被分配一个特定的角色，并被赋予与OR相关的领域知识。我们还引入了一个指挥者，通过向前的思想构建和向后的反射机制来协调这些代理。

保障是指在人工智能系统实际训练或部署后，对人工智能系统实际一致性的衡量和细化（Batarseh et al, 2021）。在本节中，我们根据一定的逻辑将保障分为三个部分：安全性评估——评估人工智能系统在任务执行过程中最大限度地减少事故是保障的基本需求，可解释性——确保人类能够理解人工智能系统的决策过程，从而确保评估之外的安全性和互操作性，人类价值验证——验证人工智能系统是否能够符合人类价值观、道德和社会规范，满足人工智能系统融入人类社会的高级需求，如图9所示。

多模态理解是创建通用 AI 代理的重大挑战，主要原因在于缺少包含视觉、语言和代理行为的大规模数据集。一般来说，AI 代理的训练数据通常是特定模态的，导致大多数现代多模态系统依赖冻结的子模块组合来实现。例如，Flamingo（Alayrac 等，2022）、BLIP-2（Li 等，2023c）和 LLaVA（Liu 等，2023c）都使用冻结的 LLM 和视觉编码器。这些子模块分别在单独的数据集上训练，然后再训练适应层以将视觉编码器编码到 LLM 嵌入空间中。

每个关键帧单独输入，未使用网格（如上图所示）。如图 34 所示，GPT-4V 智能体提供了角色在历史战斗中的夜间战斗的高级动作描述，角色手持长矛并使用如“猛冲”这样的特殊技能与多个敌人作战，同时管理健康值和能力值条。GPT-4V 智能体可以提供高级动作描述，描述玩家在飞行模拟器中驾驶飞机的过程，通过驾驶舱视角和飞机的外部视角展示，管理各种飞行控制和仪表，以保持适当的空速和高度，并在虚拟空域中导航。如图 36 所示，基于提供的 10 帧视频序列，GPT-4V 智能体为《星空》游戏中的玩家动作提供了总体描述。

    在医疗保健领域，大型语言模型（LLMs）和视觉语言模型（VLMs）可以作为诊断代理、患者护理助手，甚至是辅助治疗工具，但它们也伴随着独特的挑战和责任。AI代理在提高患者护理质量和拯救生命方面具有巨大潜力，但其不当使用或匆忙部署也可能对数千乃至数百万人的生命安全构成威胁。我们将探讨AI代理在医疗保健领域的几种有前景的应用路径，并讨论面临的关键挑战。    诊断代理。近年来，使用LLMs作为医疗聊天机器人进行患者诊断引起了极大关注，因为对医学专家的需求很高，而LLMs有潜力帮助进行分诊和诊断（Lee等人

从个体性到社会性长期以来，社会学家经常进行社会实验，以观察特定的社会现象。值得注意的例子包括霍桑实验和斯坦福大学监狱实验。随后，研究人员开始在社会模拟中使用动物，如老鼠乌托邦实验。然而，这些实验总是使用生物体作为参与者，使得难以进行各种干预，缺乏灵活性，并且在时间上效率低下。因此，研究人员和实践者设想了一种交互式人工社会，其中人类行为可以通过可信赖的代理人来执行。从《西姆斯人生》这样的沙盒游戏到Metaverse的概念，我们可以看到“模拟社会"在人们心中是如何定义的：环境和在其中互动的个体。

人工智能对齐旨在使人工智能系统的行为符合人类的意图和价值观。随着人工智能系统的能力不断增强，错位的风险也在不断增加。为了提供对齐领域的全面和最新概述，在本调查中，我们深入研究了对齐的核心概念、方法和实践。首先，我们确定了四个原则作为人工智能对齐的主要目标：鲁棒性、可解释性、可控性和道德性 (RICE)。在这四个原则的指导下，我们概述了当前对齐研究的概况，并将其分解为两个关键部分：前向对齐和后向对齐。

除了将冻结的LLMs和VLMs用于AI代理外，还可以使用单一的代理Transformer模型，其输入包括视觉令牌和语言令牌，类似于Gato模型（Reed等人，2022）。除了视觉和语言外，我们添加了第三种通用的输入类型，称为代理令牌。概念上，代理令牌用于在模型的输入和输出空间中保留一个特定的子空间，以执行代理行为。在机器人或游戏操作中，这些代理令牌可以表示控制器的输入动作空间。在训练代理使用特定工具（如图像生成或图像编辑模型）或进行其他API调用时，也可以使用代理令牌。

图2：基于LLM的Aget的概念框架，包含三个组件：大脑、感知和动作。作为控器，大脑模块承担着记忆、思考和决策等基本任务。感知模块感知并处理来自外部环境的多模态信息，动作模块使用工具执行并影响周围环境。在这里，我们给出一个例子来说明工作流：当一个人询问是否会下雨时，感知模块将该指令转换为LLM可以理解的表示。然后大脑模块开始根据当前的天气和网上的天气预报进行推理。最后，动作模块做出响应，将伞递给人。通过重复上述过程，代理可以不断地获得反馈并与环境进行交互。

从反馈中学习旨在通过反馈将人类的意图和价值观传达给人工智能系统。它是前向调整的起点。基于这个过程，我们从调整的角度转到§2.1 中的反馈类型，讨论向人工智能系统提供信息的各种形式及其优点。在接下来的章节中，我们将介绍一些近期的基本概念，为构建强大的 AI 系统提供见解（Christiano 等人，2017 年），以及使它们与人类意图保持一致（Touvron 等人，2023 年）。第 2.2 节中的偏好建模强调了它如何帮助创建代理，以帮助人类向复杂或难以评估的 AI 系统提供反馈。

多模AI系统可能会在日常生活中无处不在。希望将这些系统视为相互作用的方法，以体现物理中的问题以及虚拟环境。目前，系统以现有的基础模型为基础用于制作浮雕的积木。在这种环境中嵌入代理促进模型停止过程的美观性，并解释可视化和外部数据，这一点至关重要为了创建更复杂、更具情境感知的AI系统。例如，可以感知用户行为、人类行为、环境对象、听觉表达和集体场景的情感被用来在给定的环境中提供信息和指导代理人的反应。

基于LLM的智能体作为一个新兴的研究方向，越来越受到研究者的关注。许多特定领域和任务中的应用程序已经开发出来，展示了代理的强大和多功能。我们可以很有信心地说，拥有一个能够帮助用户完成典型日常任务的个人代理的可能性比以往任何时候都要大。作为一种基于LLM的药物,其设计目标应该始终是对人类有益的，即：人类就可以利用人工智能做好事。在本节中，我们将深入概述基于LLM的代理的当前应用，旨在为实际的部署场景提供一个广阔的视角。

    游戏为测试 LLM 和 VLM 的代理行为提供了一个独特的沙盒环境，不断拓展它们的协作和决策能力的边界。以下三个领域突显了代理与人类玩家和其他代理互动的能力，以及在环境中采取有意义行动的能力。    在现代游戏系统中，非玩家角色 (NPC) 的行为主要由开发者编写的预定义脚本控制。这些脚本涵盖了一系列基于游戏环境中各种触发条件或玩家行为的反应和互动。然而，这种脚本化的特性往往导致 NPC 行为的可预测性和重复性，无法根据玩家的行为或游戏环境的动态变化进行调整。这种僵化性妨碍了在动态游戏环境中创造沉浸

统计学习算法通常依赖于对数据分布的某些假设，例如独立性和相同分布。因此，这些算法在某些情况下会失败，尤其是在特定分布下（Zhou 等人，2022 年）。基本系统中的挑战可以通过目视检查迅速发现（Christiano 等人，2018 年；Ngo 等人，2024 年）。随着人工智能系统变得越来越强大，对训练信号的捕获不足或损失函数的错误设计往往会导致灾难性的行为（Russell et al, 2015;

近年来，随着激光诱导金属化技术的发展，激光诱导金属化与化学剂交叉领域的研究取得了长足的进步，促进了这两个领域的发展。在此，我们期待着LLM研究和Agent研究相互提供的一些益处和发展机会。LLM研究+代理人研究。如前所述，人工智能代理需要能够感知环境、做出决策并执行适当的操作。在这些关键步骤中，理解输入到代理的内容、推理、规划、做出准确的决策，并将其转换为可执行的原子动作序列以实现最终目标是至关重要的。目前的许多研究都将LLM作为人工智能主体的认知核心，这些模型的发展为完成这一步提供了质量保证。

长期以来，人类一直在追求等同于或超越人类水平的人工智能(A)，AI代理被认为是这一追求的有前途的载体。人工智能代理是感知环境、做出决策并采取行动的人工实体。已经进行了许多努力来开发智能代理，但它们主要集中在算法或训练策略的改进上，以增强特定任务的特定能力或性能。实际上，社区所缺乏的是一个通用的、强大的模型，作为设计能够适应不同场景的A代理的起点。由于大型语言模型(LLM)所表现出的多功能性，它们被认为是人工通用智能(AG)的潜在火花，为构建通用人工智能主体提供了希望。

可靠的人工智能系统的构建在很大程度上取决于它们适应不同数据分布的能力。训练数据和训练环境通常是对真实部署场景的不完美近似，并且可能缺少关键要素，例如对抗压力 (Poursaeed et al, 2021)（例如，监督学习系统中的高斯噪声 (Gilmer et al, 2019) 和自动驾驶系统中的影子攻击 (Ma et al, 2012)）、多智能体交互 (Critch and Krueger, 2020;