文章主要内容总结
本文聚焦多智能体大语言模型系统(MAS)性能提升有限的问题,核心探究其失败原因。通过构建包含1642条标注执行轨迹的MAST-Data数据集(覆盖7个主流MAS框架、4类模型和编码、数学等任务),提出首个基于实证的多智能体系统失败分类法(MAST),将失败划分为系统设计问题、智能体间失准、任务验证三大类共14种模式。同时开发LLM-as-a-Judge标注流水线,实现高效标注并与人工标注高度一致(κ=0.77)。研究发现MAS失败多源于系统设计与协作问题,而非单纯的基础模型局限,通过案例验证了基于MAST的干预能提升任务成功率,并开源了数据集、分类法及标注工具以推动后续研究。
创新点
- 首个大规模MAS失败数据集MAST-Data:涵盖多样化框架、模型和任务,提供带标注的失败轨迹,填补该领域数据空白。
- 首个实证驱动的失败分类法MAST:系统梳理14种失败模式及三大类别,为MAS失败诊断提供标准化框架。
- 高效可扩展的标注流水线:基于LLM实现自动化标注,与人工标注一致性高,解决大规模MAS失败标注的难题。
- 实证揭示失败核心原因:通过分析证明MAS失败主要源于系统设计和智能体协作问题,为结构化改进提供明确方向。
Abstract 翻译
尽管人们对多智能体大语言模型系统(MAS)抱有热情,但它们在主流基准测试中的性能提升往往微乎其微。这一差距凸显了有必要从原则上理解MAS失败的原因。要解决这一问题,需要系统地识别和分析失败模式。本文引入MAST-Data数据集,
订阅专栏 解锁全文
1329



被折叠的 条评论
为什么被折叠?



