2025_NIPS_Learning to Think: Information-Theoretic Reinforcement Fine-Tuning for LLMs

文章核心总结

核心结论：本文提出信息论强化微调框架L2T，通过密集过程奖励平衡大语言模型推理效果与效率，在减少token消耗的同时提升推理准确性。

主要内容

1. 问题背景：现有LLM推理方法依赖最终结果奖励，导致推理链过长、token浪费，且无法适配不同难度任务的最优链长需求。
2. 核心框架：L2T将问答交互拆分为多个推理片段（episode），设计基于信息论的密集过程奖励，通过强化学习优化模型，实现“用更少token完成有效推理”。
3. 关键组件：
   • 问题重构：将推理过程分解为多个片段，支持逐片段奖励计算。
   • 奖励设计：包含拟合信息增益（捕捉关键信息）和压缩惩罚（避免冗余），基于PAC-Bayes界和Fisher信息矩阵高效计算。
   • 模型微调：通过强化学习最大化累积奖励，平衡推理效果与效率。
4. 实验结果：在AIME、AMC、HumanEval等基准和多种基础模型上，L2T相比现有方法提升3.7%准确率，token效率翻倍，且在不同难度任务中保持稳定性能。

创新点

1. 提出通用信息论密集过程奖励，无需额外标注或任务特定评估器，适配多种任务场景。
2. 基于PAC-Bayes界和Fisher信息矩阵，实现高准确率且低计算复杂度的