Exploring Combinatorial Problem Solving with Large Language Models: A Case Study on the Travelling

本文是LLM系列文章，针对《Exploring Combinatorial Problem Solving with Large Language Models: A Case Study on the Travelling Salesman Problem Using GPT-3.5 Turbo》的翻译。

摘要

大型语言模型 (LLM) 是深度学习模型，旨在根据文本输入生成文本。 尽管研究人员一直在为更复杂的任务（例如代码生成和一般推理）开发这些模型，但很少有人探索如何将LLM应用于组合问题。在这项研究中，我们调查了LLM解决旅行商问题（TSP）的潜力。利用 GPT-3.5 Turbo，我们采用各种方法进行了实验，包括零样本上下文学习、少样本上下文学习和思想链 (CoT)。因此，我们对 GPT-3.5 Turbo 进行了微调以解决特定的问题大小，并使用一组不同的实例大小对其进行测试。经过微调的模型在与训练实例大小相同的问题上表现出了良好的性能，并且可以很好地推广到更大的问题。此外，为了在不产生额外训练成本的情况下提高微调模型的性能，我们采用了自集成方法来提高解决方案的质量。

1 引言

2 方法

3 实验结果

4 结论和未来工作

本文探讨了大型语言模型（特别是 GPT-3.5 Turbo）在组合问题上的应用，重点关注旅行商问题（TSP）。我们的研究结果表明，LLM确实能够有效地解决 TSP 实例，利用零样本场景中的先验知识，并通过少样本方法增强这一点，无论是否有 CoT 过程。该模型在固定大小的实例上进行微调时，显示出令人印象深刻的熟练程度，尤其是在处理与训练实例大小匹配的问题时，并且对更大的问题表现出了相当大的泛化能力。自集成方法的实施进一步增强了模型的性能，无需额外的微调即可提高解决方案的质量。
未来的研究应该集中于针对较大实例大小改进模型的性能，而目前该模型