2025_NIPS_Evaluating Generalization Capabilities of LLM-Based Agents in Mixed-Motive Scenarios Using

文章主要内容与创新点总结

一、主要内容

该研究聚焦于大型语言模型（LLM）智能体在混合动机场景中的合作泛化能力评估，提出了基于Concordia（自然语言多智能体模拟环境）的评估方法与2024年NeurIPS Concordia竞赛框架。

核心背景

LLM智能体已展现出较强的社交交互能力，但现有评估方法难以衡量其在新型社交场景中的合作泛化能力，而混合动机场景（合作与自利并存）更贴近现实社交动态，亟需针对性评估体系。

评估框架设计

1. 双维度泛化评估：包括场景感知泛化（测试智能体在不同交互规则 substrate 中的表现）和群体感知泛化（通过“居民模式”和“访客模式”测试智能体与多样合作方的交互鲁棒性）。
2. 五大合作场景 substrate：涵盖真人秀（Reality Show）、酒吧协调（Pub Coordination）、议价（Haggling）、劳工集体行动（Labor Collective Action）和国家形成（State Formation），分别考察战略沟通、不确定性下协调、谈判等核心合作能力。
3. “无知之幕”原则：竞赛分为开发阶段（公开场景测试与反馈）和评估阶段（未公开场景测试），要求智能体实现零样本泛化，避免对特定场景的过拟合。
4. 评估指标体系：以Elo评分系统为核心，结合迭代最大彩票法、Copeland法等多种排序方法，同