一文看懂多模态视觉-语言大模型的架构演进

最新推荐文章于 2025-07-24 01:25:02 发布
转载 最新推荐文章于 2025-07-24 01:25:02 发布 · 560 阅读 · 1 ·
CC 4.0 BY-SA版权
原文链接：https://mp.weixin.qq.com/s?__biz=Mzg2NzUxNTU1OA==&mid=2247619157&idx=4&sn=bc9555b558e7388e95e654109e861182&chksm=cf4c8d491c8bc59ff8295c37fb371022364ffa2ed55d5201d6124f9e172906ae65f0dc8a3975&scene=126&sessionid=0

作者 | Dreamweaver  编辑 | 具身智能之心

原文链接：https://zhuanlan.zhihu.com/p/693885420

点击下方卡片，关注“具身智能之心”公众号

本文只做学术分享，如有侵权，联系删文

本文回顾了多模态LLM (视觉-语言模型) 近一年来的模型架构演进，对其中有代表性的工作进行了精炼总结，截止2024.04，持续更新ing... 欢迎大家多多点赞、收藏、讨论

首先，推荐一篇启发我很多的综述和对应的项目地址（本文的封面图也来自该综述）

A Survey on Multimodal Large Language Models
arxiv.org/abs/2306.13549

Awesome-Multimodal-Large-Language-Models
github.com/BradyFU/Awesome-Multimodal-Large-Language-Models

这篇综述一张图总结了多模态LLM的典型架构：

198b872a8072da76af128be19c2ba7f1.png

BLIP

【2022.01发布】https://arxiv.org/abs/2201.12086

统一视觉-语言理解和生成，使用captioner+filter高效利用互联网有噪数据

d404030de871f6ef6312c40c1184f363.png

模型架构：

  • Image/text encoder: ITC loss对齐视觉和语言表征，基于ALBEF提出的momentum distillation

  • Image-grounded text encoder: ITM loss建模视觉-语言交互，区分positive/negative图文对，使用hard negative mining挖掘更高相似度的负例优化模型

  • Image-grounded text decoder: LM loss实现基于图像的文本解码，将双向self-attention替换为causal self-attention

8bb43d3ca1bf1aff8c7d95b5c6f5e050.png

BLIP的bootstrapping训练过程：

95b8cac700897ded0d20838b8826afda.png

BLIP-2

【2023.01发布】https://arxiv.org/abs/2301.12597

使用相对轻量的Q-Former连接视觉-语言模态，通过两阶段训练：第1阶段基于冻住的视觉编码器，第2阶段基于冻住的LLM

45a6994efd0a6ea67b1a7f2dd7d57cb7.png

第1阶段：同样优化ITC/ITM/LM loss，使用不同的self-attention mask，query和text端共享self-attention参数，使得可学习的query embedding提取与text语义最相关的视觉表征；使用BERT-base初始化，32个768维的query作为信息瓶颈

  • ITC：计算每个query与text的相似度，取最大的；使用batch内negatives，不再使用momentum queue

  • ITM：对每个query与text的分类logits取平均，使用hard negatives mining挖掘难负例

  • LM：text token和frozen image encoder不能直接交互，要求query能提取有益的视觉特征

6ead3f70f079ca14c72ed49664412005.png

第2阶段：可基于decoder-only/encoder-decoder LLM进行适配，FC层对齐维度

af66c38094d89b36e133bf1bc6f60411.png

LLaVA

【2023.04发布】https://arxiv.org/abs/2304.08485

  1. 使用仅文本模态的GPT-4生成视觉-语言指令遵循数据，用于微调多模态LLM

  • 使用图片的dense captions和bounding boxes作为prompt，可以生成对话、细节描述、复杂推理等指令

  1. CLIP ViT-L/14 + Vicuna，使用简单的线性层进行映射

  • 更复杂的：Flamingo中gated cross-attention，BLIP-2中的Q-former

66fd241a8abf23a355a1034febb5b827.pngb3b50a3156d6f79c200ea292fe55b68c.png

  1. LLaVA模型的两阶段训练

  • stage1. 预训练特征对齐：冻住vision encoder和LLM，只训练projection，学习一个兼容的visual tokenizer

  • stage2. 端到端微调：冻住vision encoder，在单轮/多轮对话数据上微调projection和LLM

MiniGPT-4

【2023.04发布】https://arxiv.org/abs/2304.10592

stage1. 预训练：使用image-text pair微调linear projection layer，vision encoder和LLM保持冻住

stage2. 指令微调：指令格式为：###Human:###Assistant:

2adaf296ecf8418ada2f6284e8163ad6.png

InstructBLIP

【2023.05发布】https://arxiv.org/abs/2305.06500

stage1. 预训练：BLIP-2（使用image-text pairs进行两阶段训练）

stage2. 指令微调：只微调instruction-aware Q-former，冻住vision encoder和LLM

支持FlanT5(encoder-decoder)和Vicuna(decoder-only)

d7629e0cbee7fcade076337669de8763.png

Qwen-VL

【2023.08发布】https://arxiv.org/abs/2308.12966

支持中英双语、多图像输入

Qwen-7B + OpenCLIP ViT-bigG，输入图像直接resize到视觉编码器输入

位置感知的VL adapter：使用基于Q-former的单层的cross-attention，将图像特征维度压缩到256，在query-key pairs中引入2D绝对位置编码增强位置信息

图像输入：256-dim图像特征

bounding box输入输出：(X_topleft, Y_topleft), (X_bottomright, Y_bottomright),…标记box所指内容

三阶段训练：

stage1. 预训练：基于大规模、弱标注、网络爬取的图像-文本对，输入分辨率224x224，冻住LLM，训练ViT和Q-former，主要目的是模态对齐

stage2. 多任务预训练：基于7种下游视觉-语言理解任务的高质量、细粒度标注数据训练，输入分辨率448x448，图像/文本数据交错，训练整个模型

stage3. 指令微调：提升指令遵循和多轮对话能力，冻住ViT，训练LLM和Q-former

26fbedac0c7b2d16b9b3dc824307aa67.png

Qwen-VL-Plus和Qwen-VL-Max提升了视觉推理能力、图像细节的识别/提取/分析能力（尤其是文本导向的任务）、支持高分辨率和极端纵横比的输入图像；在部分中文场景超过了GPT-4V和Gemini

InternLM-XComposer

【2023.09发布】https://arxiv.org/abs/2309.15112

交错图文构成：自动在输出文本中插入合适的图片

EVA-CLIP ViT + InternLM-7B + Q-former (将图像特征压缩到64个embedding）

两阶段训练：

stage1. 预训练：冻住ViT，训练LLM和Q-former

stage2. 监督微调：包括多任务训练和指令微调，冻住ViT和LLM，训练Q-former，对LLM进行LoRA微调，增强指令遵循和图文混排能力

9223a943a8e1e06b5618d5e3fa0d74a7.png

Fuyu-8B

【2023.10发布】https://huggingface.co/adept/fuyu-8b

模型架构和训练过程简单，易于scaling；支持任意图像分辨率；推理速度快

decoder-only的transformer，没有专门的图像编码器；image patch直接线性映射到transformer第一层

b60e5761c20d14088ed188bbda512b7e.png

LLaVA-1.5

【2023.10发布】https://arxiv.org/abs/2310.03744

仍使用MLP作为模态连接，突出了训练的数据高效性

a9292435bc59657fc56ca55122b29073.png

CogVLM

【2023.11发布】https://arxiv.org/abs/2311.03079

深度视觉-语言模态融合，而不影响LLM原有的语言能力：冻住LLM和ViT，在attention和FFN层训练一份视觉专家模块

1e68db47135a032d707497bc71a6c05b.png

CogAgent

【2023.12发布】https://arxiv.org/abs/2312.08914

针对GUI场景的多模态理解和导引，使用高分辨率-低分辨率双编码器，支持1120x1120的屏幕输入

高分辨率分支使用更轻量的ViT，基于cross-attention将高分辨率图像特征与LLM每层进行融合

24d95268fd981e08dbbb1730ad23097b.png

VILA

【2023.12发布】https://arxiv.org/abs/2312.07533

探索了视觉-语言模型训练的设计选择：

  1. 预训练阶段冻住LLM虽然能取得较好的zero-shot性能，但上下文学习能力依赖对LLM的微调

  2. 图文交错的预训练数据是有益的，只用图文数据对效果不够好

  3. 将纯文本的指令微调数据加入SFT阶段有助于缓解纯文本任务的能力退化，同时也能够增强视觉-语言任务的准确性

2d8b1910890cfe575626d913b6c3ffee.png

LLaVA-Next

【2024.01发布】https://llava-vl.github.io/blog/2024-01-30-llava-next/

相对于LLaVA-1.5，保持了极简的设计和数据高效性：

  1. 提高了输入图像的分辨率 (4x)，支持3种纵横比：672x672, 336x1344, 1344x336

  2. 更好的视觉推理和OCR能力：更好的指令微调数据配比

  3. 更好的多场景视觉对话：更好的世界知识和逻辑推理

  4. 更高效的部署和推理：SGLang

动态高分辨率：视觉编码器支持336x336的图像输入，对于672x672的图像，按照{2,2}的grid split成4个图像patch过encoder，downsample到336x336也过encoder，特征拼接作为visual tokens输入到LLM中

57ec7600a68953975071c6df88151998.png

收集高质量用户数据，包括真实场景中反映用户更广泛意图的指令数据，利用GPT-4V进行数据构造

多模态文档/图表数据，增强文档OCR和图表理解能力

5bd51ecd86974bf55acf4e512af558b1.png

InternLM-XComposer2

【2024.01发布】https://arxiv.org/abs/2401.16420

提出了新的模态对齐方法partial LoRA：只在image token上添加LoRA参数，保证预训练语言知识的完整性，这样一个更轻量的视觉编码器同样有效

OpenAI CLIP ViT-L/14 + InternLM2-7B + partial LoRA (rank=256)

5cc0b419201c51cdb5d7eb0c2eea53d3.pngd021f5537ff5f59be9b572affd8601af.png

两阶段训练：

stage1. 预训练：冻住LLM，微调ViT和partial LoRA模块，包括通用语义对齐（理解图像基本内容）、世界知识对齐（进行复杂的知识推理）、视觉能力增强（OCR、物体定位、图表理解）

stage2. 监督微调：微调整个模型，包括多任务训练、自由形式图文排布

InternLM-XComposer2-4KHD

2024.04发布了4KHD版本：https://arxiv.org/abs/2404.06512

支持动态分辨率（336px → 4K (3840x1600))：改进了patch division范式，保持训练图像原有的纵横比，自动变化patch数目，基于336x336的ViT配置layout

动态图像划分：将输入图像resize and pad到336的整数倍宽高

结合图像的global和local视角：global视角由输入直接resize到336x336，使用sep token分隔两种视角的token

图像2D结构的换行符：可学习的\n token分隔图像token行

5f60fdad08c434cfa270b158d10a3045.png

Mini-Gemini

【2024.03发布】https://arxiv.org/abs/2403.18814

使用双视觉编码器提取低分辨率embedding作为query，高分辨率特征区域作为key/value，两者之间做cross-attention，输出挖掘的tokens作为prompt前缀，输入到LLM做推理，外接图像解码器生成图像(SDXL)

f934c8a355bc768e76a6401615199826.png

扫码添加助理微信邀请入【具身智能】群，备注：学校/公司+方向+昵称（快速入群方式）

ade6686f85166254c3af05961ab8b30e.jpeg

【自动驾驶之心】全平台矩阵

e58e23b27dd96ef81afb38a241a455f5.png

一文读懂「MLLM，Multimodal Large Language Model」多模态大语言模型
女王の专属领地
01-09 7132
模态是事物的一种表现形式，多模态通常包含两个或者两个以上的模态形式，是从多个视角出发对事物进行描述。生活中常见多 模态表示，例如传感器的数据不仅仅包含文字、图像，还可以包括与之匹配的温度、深度信息等。使用多模态数据能够使得事物呈现更加立体、全面，多模态研究成为当前研究重要方面，在情感分析、机器翻译、自然语言处理 和生物医药前沿方向取得重大突破。MLLM通常以大语言模型(Large Language Model，LLM)为基础，融入其它非文本的模态信息，完成各种多模态任务。MLLM定义为“
多模态视觉大模型(2): 常用模型介绍（CLIP和LLAVA）
@bangbang的博客
04-28 2811
Loss使用的是交叉熵来定义，通过Loss来约束使得相同图像和文本对，他们的距离要足够近；其他不匹配的要尽可能远。我们可以换个视角来解决该问题，将它看做两个任务。第一个任务是针对每张图像我需要分类对，需要将它正确分类为对应的类别id;针对每个文本，我们也希望它也能够正确的分类到对应的类别id。所以可以通过两个交叉熵来实现，一个是文本分类的交叉熵，一个是图像分类的交叉熵，通过转置来实现。然后将两个交叉熵的损失加在一起就可以了，# 主函数# 加载数据集# 获取一个小批量的图像和标签。
计算机视觉的多模态模型：开启感知智能的新篇章
2401_82355416的博客
03-26 1869
计算机视觉的多模态发展正在重塑我们对机器感知能力的认知边界。从单一图像识别到融合视觉、语言、听觉等多维信息的综合理解，这一演进不仅提升了AI系统的实用性能，更在深层次上模拟了人类认知的本质特征——我们的大脑正是一个精妙的多模态信息处理系统。当前的多模态模型虽然取得了显著进展，但与人类灵活、高效的多感官整合能力相比仍有巨大差距。未来的研究需要在几个关键方向突破：更自然的跨模态对齐机制、更高效的多模态信息压缩与检索、更鲁棒的少样本适应能力，以及更可信的决策解释性。多模态技术也提出了重要的伦理和社会议题。
一文彻底搞懂多模态 - 视觉大模型
m0_59164304的博客
09-26 5783
图像分类：将图像划分为预定义的类别之一。例如，识别图像中的物体是猫、狗还是其他动物。目标检测：在图像中定位并识别出多个物体及其类别。这通常涉及在图像上绘制边界框来指示物体的位置。图像分割：将图像分割成不同的区域或对象，通常是在像素级别上进行。这可以是语义分割（区分不同类别的对象）或实例分割（区分同一类别的不同实例）。
视觉多模态理解模型基础
weixin_40845584的博客
11-29 382
目录1. 视觉多模态简介1.1. 视觉表征1.2. Visual Language Alignment2. Vision Transformer3. 多模态对齐4. CLIP4.1. CLIP模型结构4.2. 训练4.3. Prompt Engineer4.4. Limitation4.5. 后续相关研究5. Flamingo视觉语言模型5.1. 模型架构5.2. Perceiver5.3. Li...
【计算机视觉 & 自然语言处理】什么是多模态？
wzk4869的博客
03-08 6783
【计算机视觉 & 自然语言处理】什么是多模态？
一文搞懂DeepSeek的技术演进之路：大语言模型、视觉语言理解、多模态统一模型
weixin_59191169的博客
02-22 1572
DeepSeekLLM，旨在通过长期视角推动开源语言模型的发展。数据收集与预处理：首先，开发了一个包含2万亿token的数据集，并对其进行去重、过滤和重新混合。去重阶段通过跨多个dump进行去重，过滤阶段通过详细的语义和语言学评估来增强数据密度，重新混合阶段则通过增加代表性不足领域的存在来平衡数据。表1｜各种常见 Crawl dumps 去重比率DeepSeek LLM的微观设计主要遵循LLaMA的设计，采用Pre-Norm结构和RMSNorm函数，使用SwiGLU作为前馈网络的激活函数。
一文看懂精髓！提示工程架构师上下文工程跨模态信息融合技术
最新发布
大数据洞察的博客
07-24 157
想象一下，你身处一个未来的数字图书馆，这里不仅有海量的文字书籍，还有丰富的图像、音频和视频资料。你想要查找关于古代文明建筑的信息，你不再局限于搜索文字描述，而是可以直接用一幅现代类似建筑的图片，或者一段描绘古代建筑风格的音频作为查询入口。图书馆的智能系统能够迅速理解这些不同形式的信息，并为你呈现出包含文字介绍、建筑图片、相关历史音频讲解以及古代建筑复原视频的综合结果。这样神奇的场景背后，依靠的就是跨模态信息融合技术。
AIGC内容分享(二)：全球大模型技术与应用分析
之乎者也·的博客
01-09 1901
这篇文章主要阅读者是产品经理、业务负责人、AIGC核心参与者等。现在AIGC技术发展太快，每天都有不同的变化。刚才我看Google发布的Gemini多模态能力，着实被惊喜（吓）到了：AI可以看图说话、理解和推理、预测事情的发展动态，简直无所不能。所以这篇文章是想站在2023年底这个节点，系统性梳理下AIGC的技术现状和行业应用，方便我们对AIGC技术、产品和商业有个全局的理解。警示: 不论行业热度如何，企业AIGC布局始终需要保持理性和克制。
2024年01月数据月报
SmartSi
02-24 2567
2024年01月数据月报，为您准备了阿里、字节、百度等大厂180多篇实践案例
浅谈视觉与语言中的多模态研究，究竟都研究什么
Guet142021的博客
03-15 5069
前言 随着人工智能的整体进步，计算机视觉和自然语言处理已经有了巨大的。有了如此强大的算法和自主系统的综合能力，就需要合并知识领域，实现跨模态兼容，视觉语言(VisLang)研究具有更复杂的任务和交互式和可解释系统的需要。这已经浮出了各种具有挑战性的任务，如视觉语言导航，机器人的自主功能与环境的全面了解，视觉字幕生成丰富和有意义的语言描述等等，本篇就浅谈视觉语言多模态研究究竟在研究什么。 VisLang任务总结 1.Generation tasks Visual Question...
彻底搞懂多模态：图像描述、视频描述、视觉问答，深入了解多模态应用！
Code1994的博客
09-29 2514
视频定位任务指的是在视频内容中准确识别并标记出关键元素或事件的位置和时间点。这要求系统能够分析视频帧，理解视频中的动态变化，并据此确定特定对象、场景或事件在视频中的具体位置和时间范围。
[读论文]语言视觉多模态预训练模型 ViLBERT
Redflashing
10-04 2034
论文地址：https://arxiv.org/abs/1908.02265 代码实现：https://github.com/facebookresearch/vilbert-multi-task 图1.ViLBERT 模型由视觉（绿色）和语言（紫色) 组成，它们通过 co-attentional transformer layer 进行互动。这种结构允许每种模式有不同的深度，并通过共同注意力实现稀疏的互动。带有乘数下标的虚线框表示重复的块。 1. Introduction ​ 针对视觉和语言任务的预训练
多模态text-image模型之ITM loss（blip）
vivi_cin的博客
04-07 2382
函数计算模型输出和真实标签之间的交叉熵损失。这个损失反映了模型预测和实际标签之间的差异，用于指导模型参数的更新，以便更好地区分正面和负面样本。）的得分，这个头部是一个全连接层，用于将模型学到的特征映射到正面和负面类别的得分。函数将这些标签连接起来，形成一个完整的标签张量。：模型对应的标签，包含了每个样本的真实标签。是负面样本的标签，设为 0。是正面样本的标签，设为 1，：模型输出的是经过训练头部（是模型输出的分类得分，是每个样本的真实标签。
多模态论文串讲·上【论文精读·46】只用 Transformer encoder 的一些方法viLT、clip、ALBEF、VLMO
云淡风轻_的博客
02-06 2231
通过这种不停的阅读总结、对比。不说100%，但绝大多数。时候都是应该能够给你一个很明确的研究方向。
CLIP、Vilt、ALBEF、CoCa、Beit、BLIP、mPlug、LLava、MagVit-V2、VQGAN-LC、InternVL、Perceiver、CogVLM、Qwen、Ovis
taoqick的专栏
09-04 1510
两个ITC+两个MIM+1个ITM。ITM是基于ground truth的，必须知道一个pair是不是ground truth，同时ITM loss是用了hard negative，这个是和Momentum Distillation（动量蒸馏）是有冲突的，所以ITM只有一个loss没有给基于Momentum Distillation的loss。而另外两个都有基于Momentum Distillation版本的loss。
视觉语言模型详解【VLM】
热门推荐
新缸中之脑
05-20 3万+
视觉语言模型被广泛定义为可以从图像和文本中学习的多模态模型。它们是一种生成式模型，可以接受图像和文本输入并生成文本输出。大型视觉语言模型具有良好的零样本能力，具有良好的泛化能力，并且可以处理多种类型的图像，包括文档、网页等。用例包括谈论图像、通过指令进行图像识别、视觉问答、文档理解、图像字幕等。一些视觉语言模型还可以捕获图像中的空间属性。当系统提示检测或分割特定主题时，这些模型可以输出边界框或分割掩码，也可以定位不同的实体或回答有关其相对或绝对位置的问题。
入门必读！多模态大语言模型的演变全回顾！（视觉定位、图像生成、编辑、理解）
python12345678_的博客
08-23 618
注意力算子和Transformer架构的引入使得我们可以创建大规模的，能够处理各种模态的模型。这一进步主要归因于算子的多功能性和架构的适应性。最初，它们主要应用于语言模型，但很快就扩展到支持视觉处理骨干，并最终用于集成多种模态的模型。随着复杂的大语言模型的激增，尤其是它们在上下文学习方面的能力的进步，鼓励研究人员将这些模型的范围扩大到多种模态，既作为输入又作为输出。这种扩展促使了像GPT-4V和Gemini这样的尖端模型的开发，并展现了相当先进的能力。
【多模态】26、视觉-文本多模态任务超详细介绍 「CLIP/LSeg/ViLD/GLIP/ALBEF/BLIP/CoCa/BEIT」
呆呆的猫的博客
08-20 7118
本文主要介绍典型的图文多模态任务
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值