多模态大模型入门指南（非常详细）零基础入门到精通，收藏这一篇就够了

内容总结，本篇综述主要介绍和分析了以下几个方面：

• • 概述了MM-LLMs的设计形式，将模型架构分为5个部分：模态编码器、输入投影器、语言模型骨干、输出投影器和模态生成器。阐述了每一部分的实现选择。

• • 描述了MM-LLMs的训练流程，主要包括多模态预训练和多模态指令微调两个阶段。

• • 总结分析了26种主流的MM-LLMs模型，从模型架构、训练数据集规模等多个维度进行了对比。

• • 综合回顾了主要MM-LLMs在18个广泛使用的视觉语言评测集上的表现，并总结提炼出提升模型效果的重要训练方法。

• • 探讨了MM-LLMs未来发展的5大方向：构建更强大的模型、设计更具挑战性的评估集、移动端/轻量级部署、具备实体性的智能和持续性指令调整。

综上，该论文系统梳理了MM-LLMs的框架、模型、评估指标和未来研究方向，对其现状和发展趋势进行了全面而深入的总结，为相关领域的研究与进一步发展奠定了基础。

部分模型 总结如下：

1.引言

1.1 多模态LLMs 的现状

最近，多模态大模型取得重大进展。随着数据集和模型的规模不断扩大，传统的 MM 模型带来了巨大的计算量，尤其是从头开始训练的话。研究人员意识到 MM 的研究重点工作在各个模态的连接上，所以一个合理的方法是利用好现成的训练好的单模态基础模型，尤其是 LLM。这样可以减少多模态训练的费用，提升训练效率。

MM-LLM 利用 LLM为各种 MM 任务提供认知能力。LLM 具有良好的语言生成，zero-shot 和 ICL 的能力。其他模态的基础模型则提供了高质量的表征。考虑到不同模态的模型是分开训练的，如何将不同模态连接起来，实现协同推理，是核心挑战。

这里面的主要工作便是通过多模态预训练和多模态的指令微调，来实现模态之间的对齐，以及模型输出与人类意图的对齐。

1.2 多模态的发展历程

关于多模态的发展主要有：

• • 最初的发展集中在多模态的内容理解和文本的生成：Flamingo,BLIP-2, Kosmos-1,LLaVA/LLaVA-1.5/LLaVA-1.6，MiniGPT-4，MultiModal-GPT，Video-Chat，VIdeo-LLaMA，IDEFICS，Fuyu-8B，Qwen-Audio

• • 同时实现多模态的输入和输出工作 MM-LMM，探索特定模态的生成，例如 Kosmos-2，Mini-GPT5，以及语音生成的 SpeechGPT

• • 将 LLM 和外部工具继承进来，实现“any-to-any”的 多模态理解和生成。visual-chatgpt，ViperGPT，MM-React，HuggingGPT，AudioGPT

• • 同样，有为了减少级联过程中传播误差的工作，有 NExT-GPT 和 CoDI-2，来开发任意模式的多模态模型

1.3 内容结构：

本文接下来的机构如下所示。第二节讲模型架构，第三节讲训练流程。

第二节模型架构分为五部分，不同模态的编码器 Encoder，输入 Projector，LLM 骨干，输出 Projector，不同模态的