A Survey on Multimodal Large Language Models-优快云博客

本文是LLM系列的文章之一，主要是讲解多模态的LLM。针对《A Survey on Multimodal Large Language Models》的翻译。

摘要

多模态大语言模型（MLLM）是近年来兴起的一个新的研究热点，它利用强大的大语言模型作为大脑来执行多模态任务。MLLM令人惊讶的新兴能力，如基于图像写故事和无OCR的数学推理，在传统方法中是罕见的，这表明了一条通往人工通用智能的潜在道路。在本文中，我们旨在追踪和总结MLLM的最新进展。首先，我们提出了MLLM的公式，并阐述了其相关概念。然后，我们讨论了关键技术和应用，包括多模式指令调整（M-IT）、多模式上下文学习（M-ICL）、多模态思想链（M-CoT）和LLM辅助视觉推理（LAVR）。最后，我们讨论了现有的挑战，并指出了有希望的研究方向。鉴于MLLM时代才刚刚开始，我们将不断更新这项调查，并希望它能启发更多的研究。收集最新论文的相关GitHub链接可在https://github.com/BradyFU/AwesomeMultimodal-Large-Language-Models.

1 引言

近年来，大型语言模型取得了显著进展。通过扩大数据大小和模型大小，这些LLM提高了惊人的涌现能力，通常包括上下文学习（ICL）、指令跟随和思想链（CoT）。尽管LLM在大多数自然语言处理（NLP）任务中表现出了令人惊讶的零/少样本推理性能，但它们天生对视觉“视而不见”，因为它们只能理解离散文本。与此同时，大型视觉基础模型在感知方面进展迅速，传统的与文本的结合更注重模态对齐和任务统一，在推理方面发展缓慢。
鉴于这种互补性，单模态LLM和视觉模型同时朝着彼此运行，最终导