大模型多智能体系统故障归因研究

近年来，大模型多智能体系统因其协作解决复杂问题的能力而广受关注。然而，这些系统经常在任务失败时仍产生大量活动。这给开发者留下了一个关键问题：究竟是哪个智能体，在哪个环节，导致了失败？从海量的交互日志中筛选出根本原因如同大海捞针——这是一项耗时费力的工作。

对于开发者而言，这已是常见的困扰。在日益复杂的多智能体系统中，失败不仅常见，而且由于智能体协作的自主性和冗长的信息链，诊断变得异常困难。若无法快速识别失败源头，系统的迭代和优化便会停滞不前。

为应对这一挑战，某大学和某大学的研究人员，联合包括某中心在内的多家机构，提出了“自动化故障归因”这一新的研究问题。他们为此任务构建了首个基准数据集 Who&When，并开发与评估了多种自动化归因方法。这项工作不仅突显了任务的复杂性，也为提升大模型多智能体系统的可靠性开辟了新路径。

该论文已被顶级机器学习会议 ICML 2025 接收为亮点报告，代码和数据集现已完全开源。

研究背景与挑战

大模型驱动的多智能体系统已在众多领域展现出巨大潜力。然而，这些系统是脆弱的；单个智能体的错误、智能体间的误解或信息传递中的失误都可能导致整个任务的失败。

目前，当系统失败时，开发者通常只能依靠手动且低效的方法进行调试：

1. 手动日志考古：开发者必须手动审查冗长的交互日志以寻找问题根源。
2. 依赖专业知识：调试过程高度依赖开发者对系统和当前任务的深刻理解。

这种“大海捞针”式的调试方法不仅效率低下，而且严重阻碍了系统的快速迭代和可靠性的提升。迫切需要一个自动化、系统化的方法来精确定位故障原因，有效弥合“评估结果”与“系统改进”之间的鸿沟。

核心贡献

本文针对上述挑战做出了几项开创性贡献：

1. 定义新问题：该论文首次将“自动化故障归因”形式化为一个具体的研究任务。该任务旨在识别导致任务失败的负责智能体以及决定性的错误步骤。

   • 谁：对失败负责的智能体。
   • 何时：发生决定性错误的具体交互步骤。
   • 原因：对失败原因的自然语言解释。

2. 探索初步的“自动化归因”方法：利用 Who&When 数据集，论文设计并评估了三种不同的自动化故障归因方法：

   • 一次性归因：该方法向大模型提供用户查询和完整的失败日志，要求其一次性识别负责智能体和决定性错误步骤。虽然成本效益高，但在长上下文中可能难以精确定位错误。
   • 逐步归因：该方法模仿手动调试，让大模型按顺序审查交互日志，在每一步做出判断直至找到错误。它在定位错误步骤上更为精确，但成本更高且存在错误累积的风险。
   • 二分搜索归因：这是前两种方法之间的折中方案，该策略反复将日志对半分割，使用大模型确定哪个分段包含错误。然后递归搜索被识别的分段，在成本和性能之间提供平衡。

实验结果与关键发现

实验在两种设置下进行：一种是大模型知道多智能体系统试图解决的问题的正确答案（有参考答案），另一种是不知道（无参考答案）。主要使用的模型是 GPT-4o，但也测试了其他模型。在 Who&When 数据集上对这些方法的系统评估得出了几个重要结论：

• 任重道远：当前方法远非完美。即使是性能最佳的单方法，在识别负责智能体方面准确率也只有约 53.5%，在精确定位确切错误步骤方面更是低至 14.2%。某些方法的表现甚至不如随机猜测，突显了任务的难度。
• 没有“全能”解决方案：不同方法在问题的不同方面表现出色。一次性归因法更擅长识别“谁”，而逐步归因法则更有效地确定“何时”。二分搜索法提供了折中的性能。
• 混合方法前景广阔但成本高昂：研究人员发现，结合不同方法（例如使用一次性归因法识别潜在智能体，然后应用逐步归因法查找错误）可以提高整体性能。然而，这会带来计算成本的大幅增加。
• 顶尖模型也面临挑战：令人惊讶的是，即使是最先进的推理模型，如某机构的 o1 和某机构的 R1，也觉得这项任务具有挑战性。这凸显了自动化故障归因的固有难度，它需要比传统任务更高水平的推理能力。
• 显式推理的重要性：研究显示，在一次性归因和逐步归因方法中，提供要求大模型解释其推理过程的显式提示可以提高性能。
• 上下文长度是限制因素：研究还揭示，随着失败日志上下文长度的增加，所有归因方法的性能都趋于下降，对识别错误步骤的准确性影响更为显著。

未来展望：通往更可靠多智能体系统的道路

“自动化故障归因”是多智能体系统开发生命周期中的关键组成部分。它有可能将识别“出了什么问题以及谁该负责”的挑战，从一个令人困惑的谜团转变为一个可量化、可分析的问题。通过在评估与改进之间搭建桥梁，最终可以创造出更可靠、更智能、更值得信赖的多智能体系统。
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号（网络安全技术点滴分享）