The (R)Evolution of Multimodal Large Language Models: A Survey

本文是LLM系列文章，针对《The ®Evolution of Multimodal Large Language Models: A Survey》的翻译。

摘要

连接文本和视觉模式在生成智能中起着至关重要的作用。因此，受大型语言模型成功的启发，大量的研究工作正致力于多模态大型语言模型（MLLM）的开发。这些模型可以无缝集成视觉和文本模式，作为输入和输出，同时提供基于对话的界面和指令遵循功能。在本文中，我们全面回顾了最近基于视觉的MLLM，分析了它们的架构选择、多模态对齐策略和训练技术。我们还对这些模型进行了广泛任务的详细分析，包括视觉基础、图像生成和编辑、视觉理解以及特定领域的应用。此外，我们还汇编和描述了训练数据集和评估基准，在现有模型之间进行性能和计算需求方面的比较。总的来说，这项调查全面概述了当前的技术现状，为未来的MLLMs奠定了基础。

1 引言

2 赋能LLM多模态能力

3 使用MLLM处理视觉任务

4 结论和未来方向

在这项调查中，我们全面概述了MLLM的最新发展，首先关注如何为LLM配备多模态能力，然后探索这些模型所解决的主要任务。基于所提供的分析，在下文中&#