Code Execution as Grounded Supervision for LLM Reasoning

文章主要内容总结

本文聚焦于提升大语言模型（LLMs）的推理能力，针对现有思维链（CoT）监督数据获取成本高、可靠性不足的问题，提出了一种借助代码执行确定性来生成高质量CoT监督数据的可扩展方法。该方法先从开源Python程序中提取包含中间变量值、执行顺序等信息的代码执行轨迹，再利用LLM将这些原始轨迹翻译成自然语言形式的CoT推理过程。

在多个推理基准（如MATH500、BBH、AGIEval等）上的实验表明，此方法能有效赋予LLMs跨任务的迁移推理能力。消融实验进一步验证，其生成的数据准确性高，还能通过减少无意义重复和过度思考来缩短推理时的token长度。

文章创新点

1. 基于代码执行的监督信号：不同于依赖人工标注或LLM生成CoT的传统方法，本方法利用程序执行轨迹的确定性，从代码执行中提取可验证的分步推理痕迹，从根本上保证了监督信号的正确性。
2. 无标注的可扩展数据生成：通过结合代码执行轨迹与LLM翻译能力，构建了无需人工标注的流水线，实现了高质量CoT数据的规模化生成，解决了传统方法中数据获取成本高的难题。
3. 提升推理效率与数据质量：生成的数据不仅中间推理步骤准确率高，还能减少LLM推理时的token长度，降低过度思考和重复现象，在保证性能的同时提升了推理效率。