LLMARENA: Assessing Capabilities of Large Language Models in Dynamic Multi-Agent Environments

本文是LLM系列文章，针对《LLMARENA: Assessing Capabilities of Large Language Models in
Dynamic Multi Agent Environments》的翻译。

摘要

大型语言模型（LLM）的最新进展揭示了它们在实现具有人类水平智能的自主主体方面的潜力。然而，评估LLM代理的现有基准要么使用静态数据集，可能导致数据泄露，要么只关注单个代理场景，忽略了多代理交互的复杂性。缺乏评估LLM代理在多智能体、动态环境中的不同能力的基准。为此，我们介绍了LLMARENA，这是一个新颖且易于扩展的框架，用于评估LLM在多智能体动态环境中的各种能力。LLMARENA包括七个不同的游戏环境，使用TrueSkill™评分来评估LLM代理的关键能力，包括空间推理、战略规划、数字推理、风险评估、沟通、对手建模和团队协作。我们在不同大小和类型的LLM中进行了广泛的实验和人类评估，表明LLM在发展成为完全自主的智能体方面还有很长的路要走，尤其是在对手建模和团队协作方面。我们希望LLMARENA能够指导未来的研究，增强LLM中的这些能力，最终在动态多智能体环境中实现更复杂和实用的应用。代码和数据将可用。

1 引言

2 基准细节

3 实验

4 分析

5 相关工作

6 结论

在我们的研究中，我们