一文搞懂大语言模型如何进化为多模态大模型？看完这一篇你就懂了！！-优快云博客

前言

传统的大语言模型（LLM）如GPT、LLaMA等主要处理文本序列，基于Transformer架构在自然语言处理任务上取得了巨大成功。然而，现实世界的信息是多模态的——文字、图像、音频、视频等多种形式共同构成了人类的认知输入。如何在现有大模型的基础上扩展多模态能力，成为了AI发展的关键技术挑战。

Demystifying Multimodal LLMs

核心问题：如何让文字专家学会"看"和"听"

大语言模型天生只懂文字，就像一个只会阅读的学者。多模态进化的本质问题是：如何让这个"文字专家"学会处理图像、音频等完全不同的信息形式？

面临的挑战：不同模态的数据具有完全不同的表示形式，如何建立统一的语义表示空间？

（1）文本数据的特点： 离散的token序列，维度相对较低

# 文本数据示例text = "一只可爱的小猫在阳光下睡觉"# 经过tokenization后变成：tokens = [101, 1037, 1506, 2031, 1996, 2235, 4937, 1999, 3103, 2091, 3637, 102]# 形状: [seq_len] = [12]# 每个token是离散的整数，词汇表大小通常是50k-100k

（2）图像数据的特点： 连续的像素矩阵，维度高且具有空间结构

# 图像数据示例import torchimage = torch.randn(3, 224, 224)  # RGB图像# 形状: [channels, height, width] = [3, 224, 224]# 每个像素值是0-255的连续值（或标准化后的浮点数）print(f"图像数据维度: {image.numel()}")  # 150,528个数值

（3）音频数据的特点： 时序连续信号，具有频域和时域特征

# 音频数据示例import numpy as np# 采样率16kHz，3秒音频audio_waveform = np.random.randn(48000)  # 时域信号# 转换为频谱from scipy.fft import fftaudio_spectrum = fft(audio_waveform)  # 频域特征print(f"音频时域维度: {audio_waveform.shape}")  # (48000,)print(f"音频频域维度: {audio_spectrum.shape}")  # (48000,)

Understanding Multimodal LLMs - by Sebastian Raschka, PhD

解决的方法：万物皆可Token化

大语言模型的处理单元是Token（词块），从大语言模型进化为多模态大模型的关键是把所有信息都转换成Token。

文字 ：天然就是Token序列

“Hello world” → [Hello, world]

图像：切块变Token

把图片分割成16×16像素的小块
每个图块编码成一个视觉Token
一张224×224的图片 → 196个视觉Token

音频：切段变Token

按时间窗口分割音频
每段音频特征编码成听觉Token
1秒音频 → 约50个听觉Token

统一处理**：所有Token拼接后输入同一个Transformer架构**

为什么这样可行？注意力机制（Attention）

大语言模型的核心是注意力机制，它本质上是在学习Token之间的关系。无论Token来自文字、图像还是音频，注意力机制都能学会它们之间的语义关联。

Multimodality and Large Multimodal Models (LMMs)

架构设计：多模态大模型的技术路线

为什么需要重新设计架构？

传统大语言模型的架构Transformer是为处理文本序列而设计的，在面对多模态数据时存在根本性限制。

（1）输入格式限制：Transformer期望统一的张量格式

Transformer要求输入必须是[batch_size, seq_len, hidden_dim]格式。

文本数据经过Tokenization后天然符合这种格式。但图像是[channels, height, width]的像素矩阵，音频是一维采样点序列，视频是[frames, channels, height, width]四维张量。

这些异构数据无法直接输入传统LLM，必须设计新的编码方式统一格式。

（2）位置编码不匹配：一维序列vs多维结构

文本使用一维位置编码，其他模态具有不同结构特征。

图像具有二维空间结构，需要(x,y)坐标表示位置关系；音频具有时序结构，存在时间先后和频域特征；视频同时具有时空两个维度。

一维位置编码无法表达多维位置关系，导致模型无法理解空间布局和时序模式。

（3）注意力机制局限：序列依赖vs空间局部性

标准Self-Attention是为序列依赖关系设计的。

文本Attention捕捉词汇间的语义和语法关系。图像Attention需要建模空间局部性和视觉层次结构。音频Attention需要考虑时域连续性和频域谐波关系。

标准Attention没有针对其他模态的结构特征优化，效率低且难以捕捉关键关系。

Understanding Multimodal LLMs - by Sebastian Raschka, PhD

如何设计统一架构方案（Unified Architecture）？

通过模态特定的编码器将不同类型数据转换为统一的Token表示，所有token在同一序列中排列，由统一的Transformer backbone处理。

（1）模态统一编码机制

文本编码：保持传统的subword tokenization方式，每个token对应词汇表中的一个ID，通过embedding layer转换为固定维度向量。

图像编码：采用Vision Transformer的patch-based方法。将图像切分为固定大小的patches（通常16×16像素），每个patch通过线性投影层转换为token。一张224×224的图像会产生196个视觉token。

音频编码：将音频信号按时间窗口分割，每个时间段提取特征（如MFCC、mel-spectrogram）后编码为音频token。采样率16kHz、时长3秒的音频通常产生约150个音频token。

视频编码：结合空间和时间维度，既要对每一帧进行patch分割，又要建模帧间的时序关系。通常采用时空patch的方式，产生的token数量是图像的数倍。*

（2）序列构建与处理流程

Token序列拼接：将不同模态的token按照特定顺序拼接成一个长序列。通常的顺序是：特殊token（如[CLS]） + 文本token + 图像token + 音频token + 任务相关token。

统一维度对齐：所有模态的token必须具有相同的隐藏维度（如768或1024），通过各自的投影层实现维度统一。

位置编码设计：为不同模态设计不同的位置编码策略。文本使用一维位置编码，图像使用二维位置编码表示patch的空间位置，音频使用时序位置编码，最后将这些位置信息加到对应的token embedding上。

（3）注意力机制的适配

全局注意力：标准的self-attention允许任意两个token之间产生注意力连接，这使得文本token可以直接关注到相关的图像区域或音频片段。

模态感知注意力：通过attention mask或者模态特定的attention bias，控制不同模态间的交互强度。例如，可以增强文本描述与对应图像区域之间的注意力权重。

分层注意力：在浅层主要进行模态内的特征提取，在深层增强跨模态的信息交互。这种设计符合人类认知的层次化特点。

Understanding Multimodal LLaMA 3.2 Architecture | Medium

最后

为什么要学AI大模型

当下，⼈⼯智能市场迎来了爆发期，并逐渐进⼊以⼈⼯通⽤智能（AGI）为主导的新时代。企业纷纷官宣“ AI+ ”战略，为新兴技术⼈才创造丰富的就业机会，⼈才缺⼝将达 400 万！

DeepSeek问世以来，生成式AI和大模型技术爆发式增长，让很多岗位重新成了炙手可热的新星，岗位薪资远超很多后端岗位，在程序员中稳居前列。

在这里插入图片描述

与此同时AI与各行各业深度融合，飞速发展，成为炙手可热的新风口，企业非常需要了解AI、懂AI、会用AI的员工，纷纷开出高薪招聘AI大模型相关岗位。
在这里插入图片描述
最近很多程序员朋友都已经学习或者准备学习 AI 大模型，后台也经常会有小伙伴咨询学习路线和学习资料，我特别拜托北京清华大学学士和美国加州理工学院博士学位的鲁为民老师给大家这里给大家准备了一份涵盖了AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频 全系列的学习资料，这些学习资料不仅深入浅出，而且非常实用，让大家系统而高效地掌握AI大模型的各个知识点。