A General Highly Accurate Online Planning Method Integrating Large Language Models into Nested Ro...

文章总结与翻译

一、主要内容

本文针对目标导向对话任务中“需在有限轮次内引导交互达成目标”的核心挑战，提出了一种基于嵌套滚动策略自适应（NRPA）的对话策略规划方法——NRPA-GD。该方法无需专门训练对话策略模型，而是利用大语言模型（LLM）同时模拟用户与系统行为，通过嵌套蒙特卡洛模拟和策略自适应的优化框架，在对话过程中动态调整策略，并构建了完整的对话轨迹评估机制。

实验在ESConv（情感支持）、CIMA（教学学习）、P4G（公益说服）和CraigslistBargain（价格谈判）四个典型目标导向对话数据集上展开，对比了传统提示工程、离线强化学习（RL）训练模型等基线方法。结果显示，NRPA-GD在成功率（SR）、平均轮次（AT）、交易价比（SL）等关键指标上显著优于现有方法，即使使用仅0.6B参数的小型LLM，也能超越ChatGPT和预训练策略模型，且在协作型和非协作型对话任务中均表现稳定。

二、创新点

1. 无训练依赖的在线规划框架：摒弃传统方法对复杂提示工程或专用数据训练的依赖，基于NRPA实现零样本策略优化，通过LLM在线模拟与自适应调整完成对话策略规划。
2. 嵌套式策略优化机制：采用多层递归搜索结构，深层搜索为浅层提供精准策略指导，浅层负责策略空间的广泛探索，实现局部细粒度搜索与全局策略优化的结合。
3. 动态自适应策略更新：通过梯度上升实时调整滚动策略权重，放大高回报路径的生成概率，将盲目随机模拟转化为向最优方向集中的自适应采样。</