Visual Reasoning and Multi-Agent Approach in Multimodal Large Language Models (MLLMs)

本文是LLM系列文章，针对《Visual Reasoning and Multi-Agent Approach in Multimodal Large Language Models (MLLMs): Solving TSP and mTSP Combinatorial Challenges》的翻译。
@[TOC](多模态大语言模型 (MLLM) 中的视觉推理和多代理方法：解决 TSP 和 mTSP 组合挑战)

摘要

多模态大型语言模型 (MLLM) 利用涵盖文本、图像和音频的综合知识来熟练地解决复杂问题，包括零样本上下文学习场景。本研究探讨了 MLLM 使用描绘二维平面上点分布的图像直观地解决旅行商问题 (TSP) 和多重旅行商问题 (mTSP) 的能力。我们引入了一种在 MLLM 框架内采用多个专门代理的新颖方法，每个代理都致力于针对这些组合挑战优化解决方案。我们的实验研究包括对零样本设置的严格评估，并引入创新的多智能体零样本上下文场景。结果表明，两种多智能体模型——Multi-Agent 1（包括Initializer、Critic和Scorer智能体）和Multi-Agent 2（仅包括Initializer和Critic智能体）——显着提高了TSP和mTSP问题的解决方案质量。 Multi-Agent 1 在需要详细路线细化和评估的环境中表现出色，为复杂的优化提供了强大的框架。相比之下，Multi-Agent 2 专注于初始化器和 Critic 的迭代细化，事实证明对于快速决策场景是有效的。这些实验产生了有希望的结果，展示了 MLLM 在解决各种组合问题方面强大的视觉推理能力。这些发现强调了 MLLM 作为计算优化中强大工具的潜力，提供了可以激发这一前景广阔领域进一步发展的见解。项目链