Graph-enhanced Large Language Models in Asynchronous Plan Reasoning

本文是LLM系列文章，针对《Graph-enhanced Large Language Models in Asynchronous Plan Reasoning》的翻译。

摘要

异步计划的推理具有挑战性，因为它需要顺序和并行计划来优化时间成本。大型语言模型（LLM）能成功完成这项任务吗？在这里，我们提出了第一个调查这个问题的大规模研究。我们发现，一组具有代表性的封闭和开源LLM，包括GPT-4和LLaMA-2，在我们的基准AsyncHow中没有提供有关任务解决过程的说明时，表现不佳。我们提出了一种称为类图规划（PLaG）的新技术，该技术将图与自然语言提示相结合，并获得了最先进的结果。我们表明，尽管PLaG可以提高模型性能，但当任务复杂性增加时，LLM仍然会急剧退化，这突出了利用LLM模拟数字设备的局限性。我们认为我们的研究是朝着将LLM用作高效自主代理迈出的令人兴奋的一步。

1 引言

2 前言：自然异步规划

3 AsyncHow规划基准

4 基准实验

5 GPT-3.5/4结果的进一步分析

6 相关工作

7 结论

在本文中，我们自动生成一个基准，并评估LLM在异步计划推理中的性能。我们发现，如果没有提供任务解决方案过程的详细说明，所有模型在我们的任