大模型论文 | 华为企业级应用：多Agent生成Workflow，准确率大幅提升

最新推荐文章于 2025-04-03 14:16:20 发布

大模型本地部署_

最新推荐文章于 2025-04-03 14:16:20 发布

阅读量847

点赞数 17

文章标签：人工智能深度学习 AI大模型 LLM ai

本文链接：https://blog.youkuaiyun.com/Androiddddd/article/details/146886222

版权

提出了 WorkTeam——一个多智能体的 NL2Workflow 框架，由监督员、协调员和填充员组成，每个角色各司其职，协同提升转换效果。目前尚无公开的 NL2Workflow 基准数据集，为此我们推出了 HW-NL2Workflow 数据集，包含 3,695 个真实业务场景样本，用于训练和评估。实验结果表明，我们的方法显著提升了工作流构建的成功率，为企业的 NL2Workflow 服务提供了创新且有效的解决方案。

https://arxiv.org/abs/2503.22473

一、为什么需要 WorkTeam 技术？

1.1 企业工作流的复杂性

在现代企业中，工作流（Workflow）是提升效率的关键工具。它通过将多个工具或组件按特定逻辑顺序整合，自动化处理复杂任务。然而，传统的工作流构建方式需要大量手动操作，且依赖于专家的专业知识，技术门槛较高。比如，一个企业可能需要将邮件监控、数据处理和 API 调用等多个步骤整合到一个工作流中，手动构建这样的流程不仅耗时，还容易出错。

1.2 单智能体的局限性

在这里插入图片描述

随着大语言模型（LLMs, Large Language Models）的发展，研究人员开始尝试利用 LLMs 将自然语言指令转换为工作流（NL 2 Workflow）。然而，现有的单智能体方法在处理复杂任务时表现不佳。例如，一个 LLM 可能需要在理解用户意图、选择合适组件、配置参数等多个任务之间频繁切换，这会导致性能下降。就像一个人同时处理多个任务时，难免会顾此失彼。

1.3 多智能体的优势

为了解决这些问题，WorkTeam 引入了多智能体框架，通过分工协作提升工作流生成的准确性和效率。这种设计灵感来源于软件开发中的团队协作，不同角色各司其职，共同完成任务。比如，WorkTeam 中的“主管”负责理解用户意图，“编排者”负责选择组件，“填充者”负责配置参数。这种分工明确的协作方式，就像一支足球队，前锋、中场、后卫各司其职，最终赢得比赛。

通过这种多智能体的协作，WorkTeam 不仅降低了工作流构建的技术门槛，还显著提升了处理复杂任务的效率和准确性。

二、WorkTeam 技术解析

2.1 多智能体框架的构成

在这里插入图片描述

WorkTeam 是一个由三个智能体组成的多智能体框架，分别是监督者（Supervisor）、编排者（Orchestrator） 和 填充者（Filler）。每个智能体都有明确的职责，协同完成从自然语言到工作流的转换。

监督者：负责理解用户意图，并协调编排者和填充者的工作。它就像一个项目经理，确保整个流程顺利进行。
编排者：根据用户指令选择合适的组件，并按照逻辑顺序编排工作流。它的任务类似于建筑师，设计出工作流的整体结构。
填充者：为每个组件填充准确的参数，生成完整的工作流。它就像施工队，确保每个细节都准确无误。

举个例子，假设用户想让系统监控邮箱，并在收到特定主题的邮件时自动处理支付信息。监督者会先理解用户的需求，然后调用编排者来设计工作流的结构，最后让填充者为每个步骤填充具体的参数，比如邮箱账号、密码等。

2.2 核心技术原理

WorkTeam 的核心技术包括三个工具，分别对应不同的任务：

• 组件过滤工具：通过计算用户指令与组件描述的相似度，筛选出最相关的组件。这就像在图书馆里根据书名和简介找到最相关的书籍。
• 组件编排工具：利用大语言模型（LLM, Large Language Model）生成符合逻辑的组件流。它就像一个编剧，把各个组件按照合理的顺序排列。
• 参数填充工具：根据用户指令和组件信息，填充组件的参数。这就像给剧本中的每个角色填上具体的台词和动作。

举个例子，如果用户想让系统监控邮箱并处理支付信息，组件过滤工具会先筛选出“邮箱监控”和“支付处理”这两个组件，编排工具会决定先监控邮箱再处理支付，最后填充工具会为邮箱组件填充账号和密码，为支付组件填充 API 地址和请求参数。

三、WorkTeam 应用评估

3.1 评估指标

在评估 WorkTeam 的表现时，我们采用了三个关键指标：精确匹配率（EMR, Exact Match Rate）、编排准确率（AA, Arrangement Accuracy） 和 参数准确率（PA, Parameter Accuracy）。这些指标分别衡量了生成的工作流与标准答案的完全一致性、组件顺序的正确性以及组件参数的正确性。

• 精确匹配率（EMR）：衡量生成的工作流与标准答案完全一致的比例。EMR 越高，说明系统生成的工作流越符合预期。
• 编排准确率（AA）：评估组件顺序的正确性。即使参数不完全正确，只要组件顺序正确，AA 也会较高。
• 参数准确率（PA）：衡量组件参数的正确性。PA 越高，说明系统生成的参数越准确。

3.2 实验结果

在这里插入图片描述

在 HW-NL 2 Workflow 测试集上，WorkTeam 的表现显著优于基线方法。具体来说，WorkTeam 的 EMR 达到了 52.7%，AA 为 88.9%，PA 为 73.2%。相比之下，单智能体方法的 EMR 仅为 18.1%，显示出多智能体框架在复杂任务处理中的显著优势。

3.3 多智能体的贡献

在这里插入图片描述

WorkTeam 的成功主要归功于其多智能体架构，包括编排者、填充者和监督者。每个智能体专注于自己的任务，提升了执行稳定性和准确性。

编排者与填充者：编排者负责选择合适的组件并安排它们的顺序，而填充者则负责为每个组件填充准确的参数。这种分工使得每个智能体都能专注于自己的任务，避免了单智能体在处理复杂任务时的性能下降。
监督者：监督者通过任务规划和结果反馈，协调编排者和填充者的工作，确保整个流程的顺利进行。监督者的存在增强了系统的协作效率，使得工作流生成更加稳定和准确。

3.4 实际应用案例

在这里插入图片描述

WorkTeam 已经成功应用于企业自动化系统，显著提升了工作流生成的准确性和效率。上图展示了基于 WorkTeam 的商业 NL 2 Workflow 系统界面。在实际应用中，WorkTeam 能够快速将自然语言指令转换为可执行的工作流，帮助企业自动化复杂的业务流程，如数据处理、发票处理等。
在这里插入图片描述