Uncertainty-Aware Planning Enhances Information Seeking in Large Language Models

本文是LLM系列文章，针对《Uncertainty of Thoughts: Uncertainty-Aware Planning Enhances Information Seeking in Large Language Models》的翻译。

摘要

面对不确定性，寻求信息的能力至关重要。在许多实际应用中，如医学诊断和故障排除，解决任务所需的信息最初并没有给出，必须通过询问后续问题来积极寻求（例如，医生向患者询问有关其症状的更多细节）。在这项工作中，我们介绍了思想的不确定性（UoT），这是一种通过提出有效问题来增强大型语言模型主动寻求信息的能力的算法。UoT结合了1）一种不确定性感知模拟方法，使模型能够模拟未来可能的情景及其发生的可能性，2）由激励模型寻找信息的信息增益激励的基于不确定性的奖励，以及3）一种奖励传播方案，以最大化预期奖励的方式选择要问的最佳问题。在医学诊断、故障排除和“20个问题”游戏的实验中，与直接提示相比，UoT在多个LLM中的任务成功完成率平均提高了57.8%，还提高了效率（即完成任务所需的问题数量）。我们的基准测试和代码是公开发布的。

1 引言

2 方法

3 实验

4 相关工作

5 结论和讨论

本文提出了思想的不确定性（UoT）算法，通过基于树的模拟、基于不确定性