2025_NIPS_Transformer Copilot: Learning from The Mistake Log in LLM Fine-tuning

文章核心总结与创新点

核心结论

本文提出Transformer Copilot（TCopilot）框架，通过构建Mistake Log记录大语言模型（LLM）微调过程中的学习信号，搭配辅助Copilot模型修正Pilot模型（原始Transformer模型）的推理输出，在12个基准任务中实现最高34.5%的性能提升，且仅增加少量计算开销，兼具可扩展性与迁移性。

主要内容

1. 核心问题：现有监督微调（SFT）仅优化模型参数以最小化损失，未利用模型自身学习信号，导致训练与推理存在性能差距。
2. 核心组件：
   • Mistake Log：系统记录微调全程的输入表示（Questions）、内部隐藏状态（Rationales）和token级误差（Mistakes）。
   • Pilot-Copilot架构：Pilot为原始Transformer模型，Copilot为 transduction 神经网络，通过残差连接与Pilot协作。
3. 关键范式：
   • 联合训练：Pilot与Copilot同步训练，Copilot持续从动态更新的Mistake Log中学习。
   • 融合推理：Copilot通过logits修正，将Pilot输出与自身修正信号融合为统一概率分布。
4. 实验验证：在常识推理、