TreeRL: LLM Reinforcement Learning with On-Policy Tree Search

文章主要内容总结

本文提出了TreeRL，这是一种将在线树搜索与强化学习（RL）相结合的框架，旨在提升大型语言模型（LLM）的复杂推理能力。传统RL方法通常采用独立链采样并依赖最终结果监督，而TreeRL通过熵引导的树搜索策略EPTree，在相同推理预算下生成更多样化的响应，并利用树结构提供细粒度的过程监督信号，避免了单独训练奖励模型的需求。实验表明，TreeRL在数学和代码推理基准上显著优于传统的ChainRL方法，验证了树搜索在LLM强化学习中的潜力。

文章创新点

1. 在线树搜索与RL整合：首次将在线树搜索直接融入LLM的强化学习训练，通过树结构提供过程监督，替代传统的独立链采样和结果监督。
2. 熵引导树搜索策略EPTree：通过选择高不确定性（熵）的中间标记进行分支，在相同生成token预算下实现更高的搜索效率和响应多样性，仅需约2次迭代即可构建有效树结构。
3. 无独立奖励模型的过程监督：利用树结构中节点的全局和局部优势计算过程奖励，避免了传统方法中分布不匹配和奖励欺骗问题，无需额外训练奖励模型。
4. 高效的训练信号设计：结合全局优势（相对于整体正确率）和局部优势（相对于父节点的提升），并通过子树叶子节点数量加权调整，优化RL训练的信用分配。