The (R)Evolution of Multimodal Large Language Models: A Survey

本文是LLM系列文章，针对《The ®Evolution of Multimodal Large Language Models: A Survey》的翻译。

摘要

连接文本和视觉模式在生成智能中起着至关重要的作用。因此，受大型语言模型成功的启发，大量的研究工作正致力于多模态大型语言模型（MLLM）的开发。这些模型可以无缝集成视觉和文本模式，作为输入和输出，同时提供基于对话的界面和指令遵循功能。在本文中，我们全面回顾了最近基于视觉的MLLM，分析了它们的架构选择、多模态对齐策略和训练技术。我们还对这些模型进行了广泛任务的详细分析，包括视觉基础、图像生成和编辑、视觉理解以及特定领域的应用。此外，我们还汇编和描述了训练数据集和评估基准，在现有模型之间进行性能和计算需求方面的比较。总的来说，这项调查全面概述了当前的技术现状，为未来的MLLMs奠定了基础。

1 引言

2 赋能LLM多模态能力

3 使用MLLM处理视觉任务

4 结论和未来方向

在这项调查中，我们全面概述了MLLM的最新发展，首先关注如何为LLM配备多模态能力，然后探索这些模型所解决的主要任务。基于所提供的分析，在下文中，我们概述了重要的开放挑战和有希望的未来研究方向，以进一步增强MLLMs的能力。
幻觉的矫正。几项研究表明，MLLMs往往表现出高幻觉率，尤其是在生成较长字幕时。虽然一些解决方案正在出现以缓解这一问题，但理解和纠正幻觉的根本原因仍然是一个重要的开放挑战，值得解决，以允许这些模型在更关键的环境（如医学）中应用，并保证其准确性和可信度。
防止有害和有偏见的一代。确保大型模型的安全性和公平性是社会的根本利益所在。最近的研究表明，基于