2025_NIPS_General-Reasoner: Advancing LLM Reasoning Across All Domains

文章核心总结与翻译

一、主要内容

本文针对现有大语言模型（LLM）推理能力集中于数学和编码领域、泛化性不足的问题，提出了General-Reasoner训练框架，旨在提升LLM在多领域的通用推理能力，同时保留其数学推理优势。

1. 核心背景：现有基于强化学习（RL）的LLM推理训练受限于数据可用性（数学/编码数据丰富）和答案验证便捷性（规则化验证易实现），但在物理、化学、金融等多领域存在数据稀缺、答案形式多样且难以规则验证的问题，导致模型泛化能力弱。
2. 关键组件：
   • 构建WebInstruct-verified数据集：通过网页爬取、过滤和LLM筛选，生成含23万条高质量可验证推理问题的数据集，覆盖数学、物理、化学、金融、人文社科等多领域，支持多样化答案格式（选择题、数值表达式、矩阵等）。
   • 提出General-Verifier验证器：1.5B参数的生成式验证器，基于思维链（CoT）和上下文感知能力验证答案等价性，替代传统规则化验证，解决跨领域答案格式多样的验证难题。
3. 训练与评估：采用Zero RL范式（直接对基础模型进行RL训练，无需中间监督微调），基于GRPO算法训练系列模型，并在12个基准测试集（含MMLU-Pro、GPQA等通用推理基准和MATH-500等数学基准）中评估。
4. 核心结果