2025_NIPS_AceSearcher: Bootstrapping Reasoning and Search for LLMs via Reinforced Self-Play

AceSearcher 文章总结与核心内容翻译

一、主要内容总结

AceSearcher 是一款针对搜索增强大语言模型（LLM）的协同自玩框架，核心解决复杂推理任务中多跳检索低效和推理能力有限的问题。其核心设计是让单个 LLM 交替扮演“分解者”和“求解者”两个角色：分解者将复杂问题拆解为子问题以引导检索，求解者整合检索上下文生成中间答案和最终结果。

训练过程采用两阶段微调：第一阶段通过搜索、推理、分解类多样化数据集进行有监督微调（SFT），夯实基础能力；第二阶段基于最终答案准确性进行强化微调（RFT），无需中间标注即可优化双角色协同。在 10 个数据集的三类推理任务（多跳问答、多跳事实核查、文档级推理）中，AceSearcher 平均精确匹配度提升 7.6%，32B 版本仅用 DeepSeek-V3 不到 5% 的参数量就实现相当性能，小参数量版本（1.5B、8B）也能超越参数量数倍于自身的现有模型，展现出高效性和强泛化能力。

二、核心创新点

1. 协同自玩双角色框架：首次让单个 LLM 同时承担问题分解与答案求解角色，无需多模型协作，兼顾灵活性与效率，针对性解决多跳检索和复杂推理的核心痛点。
2. 无中间标注的两阶段微调：SFT 阶段融合多类型任务数据，RFT 阶段仅依赖最终答案设计奖励信号，避免了中间步骤标注的高昂成本，且通过迭代