PlanU: Large Language Model Reasoning through Planning under Uncertainty

文章核心总结与创新点

主要内容

该研究针对大语言模型（LLMs）在不确定性场景下决策推理能力不足的问题，提出了基于蒙特卡洛树搜索（MCTS）的规划方法PlanU。文章聚焦LLM不确定性（生成过程随机性导致）和环境不确定性（状态转移随机、部分可观测等）两大核心挑战，通过量化分布建模节点回报、设计好奇心增强的上置信界（UCC）分数平衡探索与利用，在Blocksworld、Overcooked、TravelPlanner等5个基准测试中验证了方法的有效性，其性能显著优于CoT、ToT、RAP等主流基线方法。

创新点

1. 量化分布建模回报：将MCTS节点的回报建模为量化分布而非均值，精准捕捉LLM决策和环境中的不确定性，通过分位数分布反映回报的概率特征。
2. UCC分数平衡探索与利用：设计融合价值分布和状态新颖性的UCC分数，结合文本编码器降低LLM描述不确定性的干扰，通过预测网络与目标网络的特征差异计算好奇心奖励，鼓励探索未知状态。
3. 统一处理两类不确定性：首次在LLM-MCTS框架中同时针对性解决LLM不确定性和环境不确定性，突破了现有方法仅侧重单一不确定性或忽略环境反馈的局限。

---

英文原文翻译（Markdown格式）

Abstract（摘要）

大语言模型（LLMs）正被广泛应用于各类推理任务