2025_NIPS_Multi-agent KTO: Enhancing Strategic Interactions of Large Language Model in Language Game

文章核心内容与创新点总结

核心内容

本文受维特根斯坦语言游戏理论启发，提出多智能体卡尼曼-特沃斯基优化（MaKTO）方法，旨在提升大型语言模型（LLMs）在社交推理游戏（以狼人杀为例）中的战略互动能力。通过专家数据收集、行为克隆预训练和多智能体交互优化，MaKTO在9人狼人杀游戏中实现61%的平均胜率，优于GPT-4o（相对提升23.0%）和两阶段强化学习智能体（相对提升10.9%），与人类专家玩家对战胜率达60%，图灵测试中被识别率仅48.9%。

创新点

1. 融合语言游戏理论的训练框架：打破语言处理与决策分离的传统范式，将语言、意图和行动一体化建模，贴合真实互动场景。
2. 多智能体交互优化：采用多样化模型池进行多智能体对战（而非自对弈），提升策略泛化性，避免过度拟合单一策略。
3. 分步偏好数据选择：通过启发式、阶段投票和验证器三种方法筛选单步优劣行为，而非依赖最终胜负结果，精准优化决策过程。
4. 高质量专家数据集：收集包含331场标注游戏的数据集，涵盖玩家发言、行动及背后推理链，为行为克隆提供优质监督数据。

---

翻译部