多模态大模型中的视觉表征定律-优快云博客

本文链接：https://blog.youkuaiyun.com/Python_cocola/article/details/148879256

摘要

本文在多模态大语言模型（MLLMs）中提出了"视觉表征定律"，揭示了跨模态对齐、视觉表征一致性及模型整体性能之间的强相关性。为量化这一关系，我们定义了跨模态对齐度（分数）与表征一致度（分数）两项指标。通过在15种不同视觉表征配置下的系统性实验，并结合8个基准测试的评估，我们发现分数与分数与模型性能呈现二次函数关系。基于这一规律，我们能够直接筛选并训练出最优视觉表征方案，在无需反复微调语言模型的情况下，实现计算成本降低99.7%的显著效果。

图1 在多层语言模型中视觉表征法则的可视化。

MLLMs视觉表征定律

我们提出多模态大语言模型（MLLMs）的视觉表征定律。该定律指出，当视觉表征是唯一自变量（其他组件，如语言模型和对齐模块保持不变）时，MLLM 的性能（记为）可由两个关键因素决定：跨模态对齐度（）和视觉表征一致性（），这个关系可以表示为：

其中是和的二次函数。

假设

参照NVLM的研究框架，我们将多模态大语言模型分为以下两类：

• 纯解码器架构此类模型由视觉编码器和对齐模块（如多层感知机MLP）构成，其核心机制是通过对齐模块将视觉表征映射为视觉标记。这些标记的分布与语言标记高度相似，可直接像文本标记一样输入语言模型进行处理。

• 基于交叉注意力的架构此类模型在视觉编码器后增设降采样模块（如感知器重采样器），生成的视觉标记通过交叉注意力机制与语言模型交互，而非直接嵌入语言标记序列。

视觉表征定律的研究范围:

• 研究对象的限定性：视觉表征定律目前仅针对纯解码器架构，因其具备两大优势：(a) 架构简洁性，便于控制训练变量；(b) 广泛的应用基础，有利于建立普适性数学模型。

• 实验控制的严格性：本研究假设视觉表征是唯一自变量，对齐模块和语言模型架构保持固定。若视觉编码器未冻结，其可能承担部分对齐模块功能，导致以下问题：(a) 对齐模块的架构与角色发生不可控变化；(b) 不同模型间的可比性丧失。

理论依据

当视觉表征同时具备高度跨模态对齐性和精确一致性时，多模态大语言模型将呈现以下优势特性：

• 预对齐降低微调成本若视觉表征在预训练阶段即与语言分布高度对齐，语言模型在微调时所需跨越的模态鸿沟将显著缩小。对良好对齐的多模态数据进行微调，其效果近似于纯文本微调，无需额外计算开销。这一特性在微调数据有限时尤为重要，能有效提升模型最终性能。

• 精确表征增强视觉理解当视觉表征确保精确一致性时，图像嵌入内部的注意力机制将更为精准。这使得模型能够建立对视觉内容的精细化关注，甚至捕捉纯文本-图像注意力机制无法推导的细节特征，从而实现对图像的深层语义解析。

经验验证

本节通过实验验证跨模态对齐度（）与表征一致度（）与模型性能的强相关性。为量化这两个指标与性能的关系，我们首先提出以下测量方法：

• 跨模态对齐度（）的量化方法分数用于评估视觉表征映射到语言模型空间的有效性。在视觉编码器和语言模型均冻结的情况下，若视觉特征与语言空间对齐良好，语言模型的预测误差将最小化。换言之，对齐度越高的视觉嵌入，越能提升正确描述标记的生成概率。

具体计算方法如下：给定输入图像及其对应描述 ₁₂（为序列长度），令表示投影后的视觉表征（即视觉编码器+投影模块的输出）。此时，生成标记的条件概率可表示为：

表示前面的token。然后将对齐分数定义为所有令牌的平均对数似然度：

较高的分数表明视觉特征与语言模型的表征更为有效地对齐，这一点通过正确标题的对数似然度的增加得到体现。

• 表征一致度（）的量化方法为量化视觉表征的一致性，我们通过测量图像间语义关键点的匹配准确率来实现。具体方法如下：

给定一组已标注语义匹配关键点的图像对，我们首先提取每张图像的特征图：令表示源图像的特征图,表示目标图像的特征图。基于中标注关键点位置的特征向量，我们通过寻找最大相似度的位置来预测中对应的关键点，从而得到预测关键点集（共个关键点）。图像对的真实关键点标注为。

最终，一致度得分定义为正确关键点百分比（PCK），计算公式如下：

其中，为与图像中物体边界框尺寸成正比的阈值，为指示函数，当条件满足时返回1，否则返回0。分数越高，表明关键点对应关系越精确，这反映了视觉特征匹配效果越好。

为综合评估模型性能，我们将分数与分数整合为统一指标分数。具体而言，我们通过二阶多项式拟合基准测试表现，从而建模与之间潜在的非线性交互关系。分数的正式定义如下：

其中，为可训练参数，经优化后可使分数与基准测试性能达到最佳拟合。该公式设计使分数既能反映对齐度和一致度的独立贡献，又能捕捉二者的交互效应。

图2 基于各种评分数据拟合的回归模型的值。

结果我们采用15种视觉表征在4个视觉多模态大语言模型基准测试上拟合回归模型。如图2所示，使用视觉表征的分数时，所得平均决定系数（）高达94.06%。作为对照，我们同时使用15组随机分数、仅分数和仅分数进行二次函数拟合，这些对照组的性能相关性均显著降低。该结果充分验证了分数与模型性能的强相关性，有力支撑了视觉表征定律的成立。

图3 AC策略的总体框架。

AC策略

问题建模本框架假设的多模态大语言模型（MLLM）架构包含：冻结的视觉编码器、可训练的连接器（对齐模块）、预训练语言模型。传统方法需要微调语言模型次才能从个候选视觉表征中确定最优方案，导致扩展性受限。为此，我们提出策略（图3所示），仅需微调个语言模型（）即可评估下游性能使值可自由扩展而不显著增加成本，取值取决于视觉表征选择的计算预算。

策略拟合令表示搜索空间中所有视觉表征的分数矩阵。我们通过以下步骤建立回归模型：

从中二次抽样个数据点，记为, 将作为回归模型的输入特征:

其中是模型参数的向量，是误差项的向量，表示在所需基准上的下游性能。

抽样策略选择会影响函数拟合，进而影响预测的准确性。为了避免抽样点在和得分上过于接近，我们采用基于坐标的抽样策略。个视觉表征的标准化和得分对可以在二维图表上以坐标形式绘制。为确保样本的多样性，我们将图表划分为若干区域。在每次迭代中，如果总抽样点数尚未满足，我们将图表划分为个相等的区域。然后，我们移除空白区域和那些包含之前抽样点的区域。接下来的数据点将从剩余区域中随机选取。

图4 在仅有4次微调的有限预算下，AC策略在预测最优视觉表征时实现了87.72%的召回率。

结果在图4中，我们展示了在有限的15种设置的搜索空间内，策略能够使用最少的资源持续预测出最优的视觉表征。我们的目标是仅微调这个空间的一小部分，同时确保最优视觉表征位于前三的预测中（召回率）。在相当于4次完整微调运行的计算预算下，随机子集选择的召回率仅为26.7%。相比之下，策略的召回率达到87.72%（6个基准测试中平均值），同时仍然只需4次完整的训练运行。

实验

实验设置

我们使用Vicuna-7B 1.5作为LLM，并使用广泛应用的2层GeLU-MLP连接器作为投影器。对于视觉表征，我们探索了各种编码器类型和大小、输入分辨率、训练模式和特征组合。我们的训练过程包括两个阶段。在第一阶段，我们仅训练投影器，使用含有558K样本的LLaVA 1.5数据集进行对齐。在第二阶段，我们在包含665K样本的扩展LLaVA 1.5数据集上，对连接器和语言模型进行训练。本文中使用的MLLM基准测试包括四个基于视觉的基准，MME，OKVQA，SEED-Bench以及四个基于QCR的基准，TextVQA，VizWiz，ScienceQA。

AP得分

为了计算跨模态对齐分数，我们首先对所有视觉表征进行第一阶段训练，以获得投影后的视觉表征。这一阶段的计算需求远低于第二阶段，仅涉及0.298%的可训练参数。图像-标题对取自LLaVA-558K数据集，并通过对100张随机抽样的图像结果进行平均来计算对齐分数。至于对应分数，我们遵循常规做法，使用SPair-71k数据集。需要注意的是，所有基准测试的分和分是相同的，而函数拟合中的二次参数则调整以适应各任务之间的变化。

特征抽取

来自前馈模型的视觉表征。对于给定的图像，我们可以选择以原始形态为U-Net模型处理，或为变换器模型将其转化为打块形式。对于变换器，我们提取最后的隐藏状态，其中是序列长度，是隐藏维度。在U-Net模型中，我们在第一个上采样块后取得中间激活。值得注意的是，这两种模型的特征可以通过重塑和展平，在序列格式和网格格式之间互换。为了保持一致性，下文假设所有特征均已预先转换成相同的格式。

来自扩散模型的视觉表征。扩散模型主要用于通过多步降噪生成图像，但最近的趋势是将扩散模型用作视觉表征模型。具体来说，对于扩散模型，给定图像，我们首先向VAE编码的表征中添加噪声：

在此过程中，，而的确定依赖于噪声计划。需要指出的是，我们采用微噪声策略，将设为 1。在这种情况下，扩散模型仅对噪声潜变量进行一次降噪，并将这一步的降噪潜变量作为视觉表征特征。

表2：AC分数及其他基线在MLLM基准上拟合的平均结果。

关于视觉表征定律的额外研究结果

我们通过分析拟合二次回归模型所得的决定系数（）来展示分数与MLLM性能之间的强相关性。在本节中，我们进一步通过添加基线，分别用随机分数、分数和分数拟合模型性能，来对实验进行消融分析。此外，我们通过拟合线性回归模型探讨了分数与分数之间的关系。为避免过度拟合，我们避免使用高阶变换，这可能会掩盖分和分之间真实的关系。正如表2所示，结果表明，在值方面，使用分数始终优于所有其他设置。虽然这一观察结果不受拟合函数度数的影响，但在分和分上使用二次多项式得到了与模型性能最高的相关性。这表明了分和分之间存在固有的权衡：具有高跨模态对齐性的视觉表征往往表现出较低的对应性，反之亦然。有趣的是，我们观察到基于OCR的基准性能与C分数的相关性较低，这导致AC分数与基于OCR的基准性能的相关性降低。

图5 为将最佳视觉表征纳入前三名预测所需的完整训练（LLM微调）周期数（召回率）。

关于AC策略的其他结果

我们为图4提供了详细的可视化展示。在对视觉编码器进行消融实验时，通常会随机选择一部分进行训练。然而，如图5所示，在1000次模拟的消融实验中，我们发现要使最佳视觉表征在85.6%的时间内被包含进来，至少需要训练15个设置中的13个。这表明，仅运行一小部分视觉表征是不可靠的，尤其是当搜索空间扩大时，仅通过训练一部分来识别真正的最佳表征的可能性越来越小。相比之下，AC策略平均只需进行4次完整训练就能达到87.72%的召回率。在最成功的预测基准OKVQA中，该策略在91.7%的情况下成功地在前三个选择中识别出最优配置，仅需在15个设置的搜索空间中进行四次语言模型微调。这一结果表明，AC策略显著降低了探索MLLMs视觉表征的成本。

图6 CLIP和DINOv2在自然图像和含文本图像上的对应关系可视化。

局限性

我们发现，基于OCR的基准与AC分数的相关性低于基于视觉的基准，使得MME和MMMU成为异常点。例如，SigLIP2-Large在对齐（-1.81对比-1.97）和对应（16.75对比15.66）方面均优于CLIP-Large，但由于OCR密集的类别，在MME上表现不佳。这种差异是因为视觉表征在不同图像领域显示出不同的对应精度，如图6所示。SPair-71k数据集（用于C分数）关注自然图像（例如，猫、火车），而CLIP在SPair-71k未涵盖的基于文本的任务上表现出色。同样，我们的对齐分数，使用LLaVA 558K（LAION、CC、SBU的子集）计算，缺乏足够的OCR、数字和符号数据。因此，分和分都未能充分表示在OCR相关任务上的表现。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述