本文是LLM系列文章,针对《From Words to Routes: Applying Large Language Models to Vehicle
Routing》的翻译。
摘要
LLM通过自然语言任务描述在机器人技术(如操纵和导航)方面取得了令人印象深刻的进展。LLM在这些任务中的成功让我们想知道:LLM用自然语言任务描述解决车辆路线问题(VRP)的能力是什么?在这项工作中,我们分三个步骤来研究这个问题。首先,我们构建了一个包含21种类型的单车或多车路线问题的数据集。其次,我们评估了LLM在文本到代码生成的四种基本提示范式中的性能,每种范式都涉及不同类型的文本输入。我们发现,直接从自然语言任务描述生成代码的基本提示范式在GPT-4中表现最好,实现了56%的可行性、40%的最优性和53%的效率。第三,基于LLM在最初尝试时可能无法提供正确的解决方案的观察,我们提出了一个框架,使LLM能够通过自我反思(包括自我调试和自我验证)来完善解决方案。使用GPT-4,我们提出的框架实现了16%的可行性提高、7%的最优性提高和15%的效率提高。此外,我们研究了GPT-4对任务描述的敏感性,特别关注当任务描述中省略了某些细节,但保留了核心含义时,其性能如何变化。我们的研究结果表明,这种遗漏会导致性能显著下降:可行性下降4