Eyeballing Combinatorial Problems: A Case Study of Using Multimodal Large Language Models to Solve

本文是LLM系列文章，针对《Eyeballing Combinatorial Problems: A Case Study of Using Multimodal Large Language Models to Solve Traveling Salesman Problems》的翻译。

摘要

多模态大型语言模型 （MLLM） 已证明其能够熟练处理各种模态，包括文本、图像和音频。这些模型利用了广泛的预先存在的知识，使它们能够以最少甚至没有特定的训练示例来解决复杂的问题，这在少样本和零样本的上下文学习场景中得到了证明。本文通过分析二维平面上的点分布图像，研究了使用 MLLM 的视觉功能来“观察”旅行推销员问题 （TSP） 的解决方案。我们的实验旨在验证 MLLM 可以有效地“观察”可行的 TSP 路线的假设。零样本、少数样本、自集成和自精炼零样本评估的结果显示了有希望的结果。我们预计这些发现将激发对 MLLMs 的视觉推理能力的进一步探索，以解决其他组合问题。

1 引言

2 方法

3 结果

4 结论

本文探讨了多模态大语言模型的应用，特别是LLM的“Gemini”系列在组合问题上的应用，重点关注 TSP。我们的研究结果表明，MLLM 确实能够利用输入提示的文本和视觉部分的先验知识来有效地解决 TSP 实例。我们研究零样本场景并通过少样本方法增强这一点；具体来说，是一次和两次解决的例子。与预期相反，零样本上下文提示显示出比少样本技术更稳定的中值差距分析。接下来，自集成方法的实施进一步增强了模型的性能，提高了解决方案的质量。最后，我们采用了自我完善方法，使LLM能够迭代地完善复杂优化问题的解决方案，强调迭代视觉反馈如何影响解决方案的质量并改进其解决方案。从我们试验的两种自我优化技术中，我们发现可视化输入点比以文本格式输入点更有效。
未来的研究包括探索