20205_NIPS_Chain of Execution Supervision Promotes General Reasoning in Large Language Models

文章核心总结与创新点

一、主要内容

本文聚焦于提升大型语言模型（LLMs）的通用推理能力，提出通过代码执行过程的精细化监督实现这一目标。核心工作包括：

1. 构建TracePile数据集：包含260万个样本（约190亿tokens），涵盖算法竞赛代码、经典算法实现、数学代码三大领域，将代码执行过程转化为逐步的自然语言推理叙述（称为“执行链CoE”）。
2. 数据增强策略：通过“查询多样化”（生成针对变量追踪等细粒度问题）和“代码多样化”（重构代码结构、替换算法实现方式）提升数据逻辑颗粒度与多样性。
3. 三种训练范式：设计持续预训练、预训练后指令微调、两阶段微调三种方案，在4个基准模型（LLaMA 3/3.1、Qwen-2.5、Qwen-2.5 Coder）上验证效果。
4. 全面实验验证：在20个涵盖数学、代码、逻辑、算法的基准测试中，模型均实现性能提升，例如LLaMA3.1-8B在9个数学数据集上平均提升7.1%，且在跨领域任务中表现出良好的泛化能力。

二、创新点

1. 执行链（CoE）监督范式：首次将代码执行的每一步转化为结构化自然语言推理轨迹，解决了原始代码中推理信号隐含、被语法噪声掩盖的问题，提供更显式的推理监督。
2. 多源融合与精细化构建：数据集整合三大核心领域，结合变量追踪问题生成和代码重