2025_NIPS_SPC: Evolving Self-Play Critic via Adversarial Games for LLM Reasoning

文章核心总结与翻译

一、主要内容

本文针对大型语言模型（LLM）链式思维（CoT）推理过程中步骤级可靠性评估的难题，提出了一种名为Self-Play Critic（SPC）的新型方法。该方法通过对抗性自博弈游戏让评论模型（Critic）自主进化，无需人工步骤级标注即可提升其推理步骤错误检测能力。

核心框架包含两个角色：

1. 狡猾生成器（Sneaky Generator）：将正确推理步骤转化为难以察觉的错误步骤，旨在降低LLM问题解决成功率并欺骗评论模型；
2. 步骤评论器（Step Critic）：分析推理步骤的正确性并提供自然语言形式的评论，目标是识别所有错误步骤。

两者通过对抗性博弈产生正负样本，结合强化学习实现迭代进化——博弈获胜方获得正奖励，失败方获得负奖励。实验验证显示，SPC在ProcessBench、PRM800K、DeltaBench三大推理过程基准测试中性能持续提升（如ProcessBench准确率从70.8%提升至77.7%），且能有效指导不同LLM（Llama、Qwen、Distilled R1）的测试时搜索，显著提升其在MATH500和AIME2024数据集上的数学推理性能。

二、创新点

1. 无监督步骤级数据生成：通过对抗性自博弈自动生成步骤级标注数据，解决了人工标注成本高、时效性差、泛化性不足的核心痛点；
2. 双模型协同进化机制：生成