ReTool: Reinforcement Learning for Strategic Tool Use in LLMs

主要内容

1. 研究背景：强化学习（RL）虽能提升大语言模型（LLMs）文本推理能力，但在数值计算和符号操作任务中仍存在局限，计算工具如代码解释器（CI）可弥补这一不足。已有研究探索为LLMs赋予工具使用能力，但存在局限性，RL为解决这些问题提供了方案。
2. 方法：提出ReTool，一种工具增强的强化学习框架。先通过数据构建管道整理高质量冷启动数据集，进行监督微调，让模型学习调用代码解释器的基础能力；再采用工具增强的RL训练，基于近端策略优化（PPO）算法，设计规则化奖励，动态交错实时代码执行与自然语言推理过程，训练模型发现最优工具使用策略。
3. 实验：在AIME2024和AIME2025基准测试上评估ReTool，与多个基线模型对比。结果表明，ReTool性能显著优于基于文本的RL基线，训练效率更高，且使用更先进骨干模型时性能进一步提升。冷启动模型也展现出良好效果，证明了数据集的有效性。通过认