多模态大模型中的Projector模块深度解析

AIGCmagic社区

于 2025-06-03 20:59:35 发布

阅读量1.1k

点赞数 17

CC 4.0 BY-SA版权

分类专栏： AI多模态文章标签：人工智能

本文链接：https://blog.youkuaiyun.com/AIGCmagic/article/details/148409832

37 篇文章

订阅专栏

AIGCmagic社区介绍：

2025年《AIGCmagic社区知识星球》五大AIGC方向全新升级！

AI多模态核心架构五部曲：

AI多模态模型架构之模态编码器：图像编码、音频编码、视频编码

在多模态大模型（Multimodal Large Language Models, MLLMs）中， Projector（投影器） 是连接不同模态特征空间的关键模块。其核心功能是实现跨模态特征的语义对齐与转换，具体分为两类：

以经典的MLLM架构为例，Projector通常位于模态编码器与LLM之间，或LLM与模态生成器之间，承担特征维度对齐和语义融合的角色。

根据映射方式的不同，Output Projector可分为以下三类：

类别	实现方式	优点	缺点	代表模型
Text Tokens	LLM输出纯文本指令，调用外部工具生成多模态内容	无需微调、计算高效	无法端到端优化，生成能力受限	Visual-ChatGPT
Continuous Embedding	通过嵌入向量（Embeddings）传递LLM输出至下游解码器	支持端到端训练，信息密度高	需设计复杂交互机制	LLaVA、MiniGPT-4
Codebooks	LLM生成特殊Token ID序列，驱动多模态解码器（如扩散模型）自回归生成内容	支持细粒度控制，生成质量高	训练复杂度高，依赖高质量Token化	Unified-IO 2

Continuous Embedding是当前主流方向（43个主流模型中8个采用），因其平衡了效率与生成能力的优势。

Projector通过以下方式实现跨模态语义对齐：

这些机制共同解决了模态异构性（如图像像素与文本符号的差异）和语义鸿沟（如“红色”在文本与图像中的多义性）问题。

输入侧交互：
1. 图像编码器（如ViT）输出特征 → **线性投影层**调整维度 → 与文本Token拼接后输入LLM。
2. 高级方法如Q-Former（BLIP-2）通过可学习查询向量压缩视觉特征，并与LLM交互。
输出侧交互：
1. LLM生成文本特征 → Tiny Transformer或MLP投影 → 扩散模型生成图像（如Stable Diffusion）。
2. 复杂结构如Flamingo的Perceiver Resampler压缩视觉特征后，通过GATED XATTN-DENSE层与语言模型融合。

模型	Projector设计	特点
CLIP	双投影矩阵：图像编码器（ViT）和文本编码器（GPT-2变体）分别投影至共享嵌入空间	简单高效，依赖对比学习实现对齐；生成能力有限
Flamingo	Perceiver Resampler（压缩视觉特征） + GATED XATTN-DENSE（跨模态注意力门控）	支持长序列处理，动态融合视觉与文本特征；计算复杂度较高
PaLI	Encoder-Decoder架构集成投影器，直接生成多模态输出	端到端优化，适合多语言任务；灵活性较低
LVP	语言引导的跨模态特征增强 + 可变形注意力	显著减少计算量（FLOPs降低75%），保持高精度