Large Language Models Can Plan Your Travels Rigorously with Formal Verification Tools

本文是LLM系列文章，针对《Large Language Models Can Plan Your Travels Rigorously with Formal Verification Tools》的翻译。

摘要

大型语言模型（LLM）的最新进展及其丰富的世界知识和工具使用和推理能力，催生了许多LLM规划算法。然而，LLM尚未被证明能够准确地解决复杂的组合优化问题。在谢等人的研究中，作者提出了美国国内旅行规划基准TravelPlanner，并表明LLM本身无法以0.6%的最佳成功率制定满足用户需求的旅行计划。在这项工作中，我们提出了一个框架，使LLM能够将旅行计划问题形式化并求解为可满足模理论（SMT）问题，并使用SMT求解器交互式地自动求解组合搜索问题。SMT求解器保证输入约束的可满足性，LLM可以与我们的框架进行基于语言的交互。当输入约束无法满足时，我们基于LLM的框架将通过使用SMT求解器的自动推理，交互式地向用户提供修改其行程要求的建议。我们使用TravelPlanner评估我们的框架，成功率达到97%。我们还创建了一个包含国际旅行基准的单独数据集，并在无法满足初始用户查询时使用这两个数据集来评估我们的交互式规划框架的有效性。我们的框架可以根据不同的人类偏好生成有效的计划，我们的数据集和TravelPlanner的平均成功率分别为78.6%和85.0%。

1