【收藏必备】多模态大模型(LMMs)全解析：从LLMs到LMMs的技术跃迁与实战指南

原创于 2026-01-09 11:37:42 发布 · 354 阅读

CC 4.0 BY-SA版权

文章标签：

什么是多模态大模型(LMMs)
多模态大模型(LMMs)与大型语言模型(LLMs）的区别
多模态大模型的关键技术
常见的多模态大模型
GPT-4o (2024, OpenAI)
Qwen-VL（2024，阿里云）

我们都意识到在生成式人工智能（AI）领域及其在语言翻译、图像识别和语音转文字转换等领域的快速进步。近年来，我们见证了大型语言模型（LLMs）的进步及其在商业中的成功应用。然而，目前LLMs设计上通常专注于文本模态。这阻碍了人工智能（AI）捕捉现实世界的复杂性，现实世界由图像、声音和文本的同时存在组成。

多模态大模型（LMMs）开始通过同时处理不同的数据模态来缩小这一差距。

大型语言模型（LLMs），例如 GPT-4，在基于文本的任务上表现出色，但无法处理语音或视频等非文本输入。在这个背景下，多模态大模型（LMMs）正在兴起，以处理各种数据类型，如文本、图像和音频。

多模态大模型：Large Multimodal Models (LMMs)

大语言模型 : Large Language Model（LLMs)

什么是多模态大模型(LMMs)

多模态大模型（LMMs）是能够理解和处理各种输入形式的 AI 模型。

这些输入包括各种“模态”，如图像、视频和音频。模态是 AI 模型的数据。

LMMs 模仿了人类与世界互动的方式。

一个多模态系统可以在多种模态下生成输入和处理输出。例如，Gemini，由google开发的一个语言模型，可以通过将其训练过程整合不同类型的数据（如文本、视频和音频）来在多种模态下生成输入和处理输出，从而以多模态的方式理解和生成内容。

假设你有一个超级聪明的机器人助手，它是一个多模态大模型。你可以用各种方式跟它交流，比如发文字、发图片、说话，甚至让它看视频。而它的厉害之处在于——它能把这些信息全都理解，并给你特别有用的回答！

图中展示了医疗保健中的多模态 AI 系统。

它接收两个输入：

1）一张医学图像；

2）一个文本查询：“这张图像中是否存在胸腔积液？”

系统输出包括对给定查询的回答（即预测）。

多模态可以指以下之一或多个：

输入和输出属于不同的模态（例如，文本到图像，图像到文本）
输入是多模态的（例如，一个可以处理文本和图像的系统）
输出是多模态的（例如，一个可以生成文本和图像的系统）

多模态大模型(LMMs)与大型语言模型(LLMs）的区别

多模态大模型（LMMs）和大语言模型（LLMs）在训练、设计和操作方面是相似的。这两种模型都基于类似的训练和强化策略，并具有类似的底层 Transformer 架构。

LMMs 可以看作是 LLMs 的一种扩展形式，因为它们可以处理多种模态，而 LLMs 仅限于文本。通过将多种模态集成到模型中，LLMs 可以转化为 LMMs。

特性	多模态大模型（LMMs）	大型语言模型（LLMs）
数据模式	LMMs 可以理解和处理不同的数据模态，包括文本、音频、视频和感官数据。	LLMs 专注于文本数据的处理和生成。
数据采集与处理	训练 LMMs 需要复杂的数据收集，因为它涉及不同格式和模态的各种内容。因此，数据标注等技术对于匹配不同类型的数据以供使用至关重要。	LLMs 训练涉及从书籍、网站和其他来源收集文本数据，以增加语言多样性和广度。
模型架构和设计	LMMs 需要复杂的架构，因为它们整合了不同类型的数据模态。因此，LMMs 使用不同神经网络类型和机制的组合来有效地融合这些模态。例如，LMMs 架构可以使用卷积神经网络（CNNs）处理图像，以及使用 Transformer 处理文本。	LLMs 使用 Transformer 架构处理文本等序列数据。
预训练	LMMs 的预训练涉及使用多种数据模态。任务是让模型学会将文本与图像相关联或理解视频中的序列。	LLMs 预训练涉及大量文本。LLMs 的预训练还包括如掩码语言建模等技术，模型预测句子中缺失的单词。
微调	LMMs 的微调包括帮助模型学习跨模式关系的数据集。	LLMs 使用针对特定任务（如回答问题或总结文本）定制的专业文本数据集进行微调。
评估与迭代	LMMs 在多个指标上进行评估，因为它们支持多种数据模态。LMMs 的常见评估指标包括图像识别的准确性、音频处理的质量以及不同模态间信息的整合。	评估指标关注语言理解和文本生成，例如相关性、流畅性和连贯性。

多模态大模型的关键技术

多模态大模型的核心在于如何高效地对不同模态的数据进行建模与融合。以下是一些关键技术：

统一的编码空间 不同模态的数据（如图片的像素值和文本的词嵌入）需要被映射到一个共享的特征空间，以便模型能够对它们进行联合分析。
跨模态对齐

通过对图像和文本等模态的特征进行对齐，确保两者语义上的一致性。例如，CLIP模型通过对比学习将图像和文本对齐到相同特征空间。
常用技术：对比学习（Contrastive Learning）、注意力机制（Attention Mechanism）。

CLIP（Contrastive Language–Image Pre-training）是视觉-语言对齐的经典模型，其基本方法如下：

数据对：

使用大规模图文对（如从网络中收集的图像及其描述）。
双编码器：

图像编码器：处理图像输入，生成图像嵌入。

文本编码器：处理文本输入，生成文本嵌入。
对比学习：

学习一个共享嵌入空间，使得正确的图文对的特征距离最小化，错误的对特征距离最大化。
大型预训练 类似于 GPT 等大模型的语言预训练，多模态大模型通常会在大规模多模态数据上进行预训练，学会基础的跨模态知识，再通过微调实现特定任务。
Transformer 架构 Transformer 是多模态大模型的主流架构。通过扩展经典 Transformer 模型，支持图像、文本等模态的数据输入。

架构

常见的多模态大模型

GPT-4o (2024, OpenAI)

输入：文本、图像、音频（beta）、视频（beta）。
输出：文本、图像。
GPT-4o 代表“GPT-4 Omni”，“Omni”指的是其在文本、视觉和音频模态上的多模态能力。它是一个单一统一模型，可以理解和生成任何组合的文本、图像、音频和视频输入/输出。

Qwen-VL（2024，阿里云）

输入：文本、图像，
输出：文本，图像。
Qwen-VL 是一个开源的多模态 AI 模型，结合了语言和视觉能力。它是 Qwen 语言模型的扩展，旨在克服多模态泛化中的限制。最近升级的版本（Qwen-VL-Plus 和 Qwen-VL-Max）具有改进的图像推理能力，图像和文本中的更好细节分析，以及支持不同宽高比的高分辨率图像。