PROMPT REINFORCING FOR LONG-TERM PLANNING OF LARGE LANGUAGE MODELS

该论文提出了一种基于强化学习思想的提示优化框架（RPO），旨在解决大型语言模型（LLMs）在多轮交互中长期规划能力不足的问题，通过迭代优化提示提升模型在多任务中的表现。

一、文章主要内容总结

1. 研究背景：LLMs在单轮任务中表现优异，但在多轮交互（如文本生成SQL、任务导向对话）中，常因早期假设错误、无法追踪用户目标导致性能下降；现有优化方法（如梯度微调、自反馈）存在计算成本高、依赖频繁API调用或仅适用于单轮任务的局限。
2. 核心方法：强化提示优化（RPO）
   • 框架结构：初始提示可由专家编写或LLM生成，通过“交互-反馈-重写”循环迭代优化。模型与环境（用户/模拟用户）交互生成轨迹，反馈器（人类/LLM）提供基于时序差分（TD）误差的回合级反馈，重写器（LLM）结合历史经验重写提示。
   • 反馈机制：对比蒙特卡洛（MC）式（对话结束后生成全局反馈）与TD式（每回合生成增量反馈，含用户情绪预测、对话成败预判、改进建议），TD式更适配多轮场景。
   • 经验回放：重写提示时融合当前与历史的“提示-反馈”对，降低优化方差，提升稳定性。
3. 实验验证：在文本生成SQL、