2025_NIPS_Planning without Search: Refining Frontier LLMs with Offline Goal-Conditioned RL

文章核心总结与翻译

一、主要内容

本文针对大型语言模型（LLMs）在多轮交互任务（如工具使用、社交推理、说服对话）中缺乏长期规划能力的问题，提出了一种名为PNLC（Planning with a Natural Language Critic） 的新型方法。该方法通过离线目标条件强化学习（RL）训练轻量级价值函数，无需直接微调前沿LLM，即可引导其决策过程，解决了传统RL微调计算成本高、难以适配大型API模型的痛点。

核心思路

1. 离线训练目标条件价值函数：基于历史轨迹数据集，训练一个能够预测不同行动对未来目标达成概率的价值函数，而非直接训练LLM策略；
2. 高层策略抽象：聚焦于LLM的高层思维（thoughts）而非底层话语（utterances），简化决策空间同时保留关键信息；
3. 自然语言评论家引导推理：推理时，价值函数作为"评论家"，生成正负向未来结果的概率评估，LLM基于该评估迭代优化自身策略，无需推理时搜索。

实验验证

在Web购物、Avalon社交推理游戏、慈善说服对话三大任务中，PNLC均优于传统RL微调（如ArCHer）、推理时搜索（如LATS、Agent Q）等方法，且推理成本仅为同类方法的10%以下，同时适配GPT-4等前沿API模型。

二、创新点