ReTool: Reinforcement Learning for Strategic Tool Use in LLMs

主要内容

1. 研究背景：强化学习（RL）虽能提升大语言模型（LLMs）文本推理能力，但在数值计算和符号操作任务中仍存在局限，计算工具如代码解释器（CI）可弥补这一不足。已有研究探索为LLMs赋予工具使用能力，但存在局限性，RL为解决这些问题提供了方案。
2. 方法：提出ReTool，一种工具增强的强化学习框架。先通过数据构建管道整理高质量冷启动数据集，进行监督微调，让模型学习调用代码解释器的基础能力；再采用工具增强的RL训练，基于近端策略优化（PPO）算法，设计规则化奖励，动态交错实时代码执行与自然语言推理过程，训练模型发现最优工具使用策略。
3. 实验：在AIME2024和AIME2025基准测试上评估ReTool，与多个基线模型对比。结果表明，ReTool性能显著优于基于文本的RL基线，训练效率更高，且使用更先进骨干模型时性能进一步提升。冷启动模型也展现出良好效果，证明了数据集的有效性。通过认知分析发现，RL训练过程中模型在代码使用相关指标上有积极变化，出现代码自我修正等新兴行为，代码目的更多样化，CI驱动的推理比文本推理更高效准确。
4. 结论：ReTool通过有效利用代码解释器，提升了LLMs的数学推理能力，在实验中比传统文本RL方法准确率更高、训练步数更少，为LLMs中更高效强大的工具增强推理奠定了基础。