2025_NIPS_Trajectory Bellman Residual Minimization: A Simple Value-Based Method for LLM Reasoning

文章核心总结与翻译

一、主要内容

本文聚焦大语言模型（LLM）推理能力提升，提出一种基于价值的强化学习算法——轨迹贝尔曼残差最小化（TBRM）。该算法基于经典的贝尔曼残差最小化思想，适配LLM的自回归特性，通过优化轨迹级别的贝尔曼目标函数，无需评论家模型、重要性采样或裁剪机制，仅需单轮轨迹采样即可高效训练。在六大数学推理基准测试中，TBRM性能优于或持平PPO、GRPO等主流策略型算法，同时降低了22.5%的训练时间和33%的GPU内存占用，还能让模型习得验证、回溯等类人推理模式。

二、创新点

1. 算法设计：将传统 token 级别的贝尔曼残差最小化提升至轨迹级别，适配LLM的确定性环境特性，仅依赖轨迹级奖励信号，避免 token 级奖励稀疏问题。
2. 效率优势：完全离线策略优化，无需额外组件（如评论家模型），支持单轮轨迹采样训练，显著降低计算和内存开销。
3. 理论保障：基于轨迹测度变换理论，证明了算法在任意离线数据下可收敛到近最优KL正则化策略，且优化了收敛速率。
4. 泛化能力：在数学推理任务外，对非数学推理任务也表现出良好适配性，验证了方法的通用性。

---

三、核心部分翻译（Markdown格式）

Abstract

基于策略的方法目前在大语言