SPIRAL: Self-Play on Zero-Sum Games Incentivizes Reasoning via Multi-Agent Multi-Turn Reinforcement

文章主要内容总结

本文介绍了一种名为SPIRAL的自我对弈框架，旨在通过多智能体多轮强化学习提升语言模型（LLMs）的推理能力。核心思路是让模型在零和游戏中与不断进化的自身版本进行多轮对弈，无需人类标注数据或特定领域的奖励工程。

1. 核心机制：

   • 零和游戏（如Kuhn Poker、井字棋、简单谈判）提供了理想的训练环境，规则清晰、结果可验证，且需要战略思考和规划。
   • 通过自我对弈，模型生成无限的、难度递增的训练数据（自动课程），迫使模型持续适应更强的对手，避免过拟合到静态策略。

2. 技术实现：

   • 构建了完全在线的多轮多智能体强化学习系统，采用分布式actor-learner架构以支持大规模训练。
   • 提出角色条件优势估计（RAE），通过归一化每个玩家的预期奖励来稳定多智能体训练，防止“思考崩溃”（模型放弃推理过程）。

3. 实验结果：

   • 仅在Kuhn Poker上训练Qwen3-4B-Base模型，数学推理提升8.6%，一般推理提升8.4%，超过基于25,000条