Eyes Wide Shut? Exploring the Visual Shortcomings of Multimodal LLMs

最新推荐文章于 2025-04-15 20:43:51 发布
原创 最新推荐文章于 2025-04-15 20:43:51 发布 · 1k 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#多模态

论文分析了多模态模型在视觉问答(VQA)中的错误，提出视觉编码器、大语言模型和特征对齐可能存在的问题。实验显示模型规模和数据影响某些任务性能，CLIP和DINO在相似度评估上差异明显。MMVP-VLM测试集用于评价模型改进后的表现。

大开眼界？探索多模态模型种视觉编码器的缺陷。
在这里插入图片描述
论文中指出，上面这些VQA问题，人类可以瞬间给出正确的答案，但是多模态给出的结果却是错误的。是哪个环节出了问题呢？视觉编码器的问题？大语言模型出现了幻觉？还是视觉特征与语言模型间的特征没有对齐？
作者将上述问题分成了9个类别（通过将涉及的问题和选项提供chatgpt,让chatgpt将这些问题归类）
在这里插入图片描述

  • 通过实验发现，增加模型规模/训练数据的数量，多模态模型仅在颜色/外观任务和物体状态/状况这两项任务上的表现有提升。
  • 通过实验发现，两张很相似的图片（如下图的两只蝴蝶），视觉编码器（CLIP）给出两张图片的相似度很高，但是自编码器（DINO）给出的相似度不是很高，作者定义这两幅图片为CLIP-blind pairs
    在这里插入图片描述
    clip和多模态模型在这9项任务上的表现
    在这里插入图片描述

通过增加自监督特征，多模态模型的能力有了提升
在这里插入图片描述
上图种左边是目前的多模态

最低0.47元/天 解锁文章
huahuahuahhhh
关注
Exploring the Transferability of Visual Prompting for Multimodal Large Language Models
c_cpp_csharp的专栏
08-15 222
尽管多模态大型语言模型（MLLM）已经显示出有前景的多功能性，但它们在下游任务上的性能仍然不如专用模型，这使得有必要进行自适应以提高其效用。然而，微调方法需要对每个模型进行独立训练，从而导致巨大的计算和内存开销。在这篇论文中，我们提出了一种新的设置，我们的目标是通过一组针对下游任务优化的共享参数来提高各种MLLM的性能。为了实现这一目标，我们提出了可转移视觉提示（TVP），这是一种简单有效的生成视觉提示的方法，可以在仅在一个模型上训练后转移到不同的模型并提高其在下游任务上的性能。
假新闻检测论文分享（15）MCNN(Detecting fake news by exploring the consistency of multimodaldata)
weixin_41964296的博客
09-26 1053
近期的许多研究都表明，假新闻的传播不再依赖单一的文本模式，更多的假新闻可能会出现在各种数据模式中,如文本、图片和视频。它是多媒体的集合,这意味着很难从单模数据中检测假消息。目前的假新闻检测方法要么基于单模态数据，要么合并两种类型的数据(Ma et al.， 2016;马、高、王，2019)。这些方法忽略了各种模态的有效建模和多模态数据之间的相似性(TI-CNN;SAFE)。因此，不可能深入挖掘假新闻的内在特征(如图像篡改、图像不一致等)。
Eyes Wide Shut Exploring the Visual Shortcomings of Multimodal LLMs
weixin_44966641的博客
07-08 1139
CLIP 使用自然语言作为图像预训练的监督信号，使用对比学习和大量图文对训练出了图文联合特征空间，无疑是一个里程碑式的工作。然而，CLIP 的训练信号来自于自然语言，是语义级别的监督，再加上网络图文对数据的文本描述不够详尽精确，导致 CLIP 对于细节视觉信息的把握比较差。更遗憾的是，这种源自于训练目标的固有的缺陷，是无法通过 scaling 模型和数据来解决的。本文通过找出 CLIP-blind pairs，探究了 CLIP 模型的缺陷，分析了现有主流 MLLM 将 CLIP 作为图像编码器带来的影响。
多模态大模型的视觉基础研究——从CLIP到SEAL
weixin_41496173的博客
06-24 1357
视觉基础模型
多模态LLM存在重大缺陷？这篇论文团队成员堪称「豪华」！！！
深度学习技术前沿
01-23 511
来源：新智元Sam Altman在各种场合都提到，大语言模型的多模态能力，是未来AI技术能够造福人类的最亟待突破的领域。那么现在在多模态大模型的视觉功能能否达到与语言功能匹配的水平？当前多模态模型取得的进步很大程度上归功于大语言模型（LLM）的推理能力。但在视觉方面，模型往往只基于实例级别的对比语言-图像预训练（CLIP）。最近，来自纽约大学和UC伯克利的团队研究表明，多模态大语言模型（MLLM）...
LLM: 探索LLM视觉缺陷
WiSirius的博客
04-15 718
在使用多模态大模型时候是否会发现大模型对图像的细节理解很差，比如让他数数，让他识别理解复杂图像，VLLM给出的答案往往有些不尽人意。其实本质来讲还是幻觉问题！！！
multimodal LLM相关
weixin_43845649的博客
11-21 479
预定义的common space，每个模态到common space的映射分开学习。workshop的引文。两阶段召回，先粗后细。
基于CLIP特征的多模态大模型中的视觉短板问题
机器学习杂货铺1号店
07-06 1809
如今的大多数多模态大模型，其视觉输入侧采用的视觉编码器，都是依照CLIP的训练方式，采用大规模对比学习进行训练的。在论文 [1] 中，作者发现CLIP特征具有某些视觉短板，从而导致基于此的MLLM也受到了影响。作者观察到，在一些简单直接（不需要复杂推理）的问题上，MLLM似乎并不能很好解决...
sharding-jdbc示例代码
12-19
sharding-jdbc示例代码
ENVI+Deep+Learning+V1.0深度学习操作教程
12-19
内容概要：本文介绍了ENVI Deep Learning V1.0的操作教程，重点讲解了如何利用ENVI软件进行深度学习模型的训练与应用，以实现遥感图像中特定目标（如集装箱）的自动提取。教程涵盖了从数据准备、标签图像创建、模型初始化与训练，到执行分类及结果优化的完整流程，并介绍了精度评价与通过ENVI Modeler实现一键化建模的方法。系统基于TensorFlow框架，采用ENVINet5（U-Net变体）架构，支持通过点、线、面ROI或分类图生成标签数据，适用于多/高光谱影像的单一类别特征提取。; 适合人群：具备遥感图像处理基础，熟悉ENVI软件操作，从事地理信息、测绘、环境监测等相关领域的技术人员或研究人员，尤其是希望将深度学习技术应用于遥感目标识别的初学者与实践者。; 使用场景及目标：①在遥感影像中自动识别和提取特定地物目标（如车辆、建筑、道路、集装箱等）；②掌握ENVI环境下深度学习模型的训练流程与关键参数设置（如Patch Size、Epochs、Class Weight等）；③通过模型调优与结果反馈提升分类精度，实现高效自动化信息提取。; 阅读建议：建议结合实际遥感项目边学边练，重点关注标签数据制作、模型参数配置与结果后处理环节，充分利用ENVI Modeler进行自动化建模与参数优化，同时注意软硬件环境（特别是NVIDIA GPU）的配置要求以保障训练效率。
QPdfiumDemo
12-19
QPdfiumDemo
【网络安全竞赛】基于DVWA的代码级攻防技术：SQL注入至RCE利用链的实战设计与自动化防御方案研究
最新发布
12-19
内容概要：本文通过改造DVWA漏洞靶场，构建了一条从SQL注入到文件上传再到远程命令执行（RCE）的完整攻击链，重点展示代码级攻防技术。文中详细解析了二次注入、图片马精制、竞争上传和LD_PRELOAD沙箱逃逸等高阶技巧，并提供了完整的Python利用脚本与官方修复补丁，强调在真实竞赛场景下的实战应用与防御策略。同时展望了自动化Patch评估、微服务漏洞链和合规审计等未来发展方向。; 适合人群：具备一定Web安全基础，参加CTF竞赛或从事渗透测试工作的安全从业者，以及蓝队防守人员和安全培训讲师。; 使用场景及目标：①在高校CTF比赛中作为高难度Web题型，检验选手综合攻防能力；②用于企业招聘中考察候选人实战编码与应急响应能力；③辅助安全培训中进行攻击复现与防御规则编写。; 阅读建议：学习者应结合DVWA环境动手实践每个攻击环节，深入理解Payload构造原理与系统底层机制，同时对比官方Patch掌握安全编码规范，提升攻防双向能力。
量子信息科学入门
12-19
本书全面介绍量子信息科学的核心概念，涵盖量子计算、量子通信与退相干机制。从基本的量子比特出发，深入探讨纠缠、量子门、测量及错误校正等关键技术。结合理论与实验视角，解析量子隐形传态、量子密码学与量子算法的实现原理。书中融合多位领域专家的讲义，兼顾初学者与研究前沿，是进入量子信息技术领域的理想指南。
企业传播全渠道新闻发稿策略与GEO优化效果评估：基于AI驱动的媒体投放及多维度ROI分析系统设计
12-19
内容概要：本文系统阐述了企业新闻发稿在生成式引擎优化（GEO）时代下的全渠道策略与效果评估体系，涵盖当前企业传播面临的预算、资源、内容与效果评估四大挑战，并深入分析2025年新闻发稿行业五大趋势，包括AI驱动的智能化转型、精准化传播、首发内容价值提升、内容资产化及数据可视化。文章重点解析央媒、地方官媒、综合门户和自媒体四类媒体资源的特性、传播优势与发稿策略，提出基于内容适配性、时间节奏、话题设计的策略制定方法，并构建涵盖品牌价值、销售转化与GEO优化的多维评估框架。此外，结合“传声港”工具实操指南，提供AI智能投放、效果监测、自媒体管理与舆情应对的全流程解决方案，并针对科技、消费、B2B、区域品牌四大行业推出定制化发稿方案。; 适合人群：企业市场/公关负责人、品牌传播管理者、数字营销从业者及中小企业决策者，具备一定媒体传播经验并希望提升发稿效率与ROI的专业人士。; 使用场景及目标：①制定科学的新闻发稿策略，实现从“流量思维”向“价值思维”转型；②构建央媒定调、门户扩散、自媒体互动的立体化传播矩阵；③利用AI工具实现精准投放与GEO优化，提升品牌在AI搜索中的权威性与可见性；④通过数据驱动评估体系量化品牌影响力与销售转化效果。; 阅读建议：建议结合文中提供的实操清单、案例分析与工具指南进行系统学习，重点关注媒体适配性策略与GEO评估指标，在实际发稿中分阶段试点“AI+全渠道”组合策略，并定期复盘优化，以实现品牌传播的长期复利效应。
手机端AIDE编译器安卓版推箱子游戏软件代码.txt
12-19
手机端AIDE编译器安卓版推箱子游戏软件代码.txt
文件行政工作满意度调查表sheet
12-19
文件行政工作满意度调查表sheet
C++面试题解析[可运行源码]
12-19
本文详细解析了C++方向的常见面试题，涵盖了从基础概念到高级技术的多个方面。内容包括函数内字符数组越界问题、引用与指针的区别、C/C++程序的内存分区、快速排序的思想与优化、IO多路复用机制、Linux常用命令、动态规划的本质、MySQL优化、索引使用条件、SQL语句优化、数据库索引底层实现、HTTP与HTTPS区别、高并发系统设计、链表相交问题、IP地址存储、new/delete与malloc/free区别、函数重载与覆盖、大小端机器、守护进程、多线程优缺点、长连接与短连接、二分图应用、class与struct区别、虚函数与纯虚函数、memset函数等。这些内容不仅帮助求职者准备面试，也为开发者提供了深入的技术参考。
基于JavaScript的金融市场模拟器源代码，用于模拟金融市场行为、投资者心理和生成机器学习训练数据的仿真系统
12-19
基于JavaScript的金融市场模拟器源代码，用于模拟金融市场行为、投资者心理和生成机器学习训练数据的仿真系统
Exploring the Limits of Masked Visual Representation Learning at Scale
03-08
### 大规模掩码视觉表征学习的极限与挑战 大规模掩码视觉表征学习（Masked Visual Representation Learning, MVRL）在计算机视觉领域取得了显著进展，但仍面临诸多局限性和挑战。 #### 数据需求与计算资源消耗 MVRL依赖于大量标注数据来训练深层神经网络。然而，获取高质量的大规模图像数据集不仅成本高昂而且耗时费力。此外，处理这些海量的数据需要强大的硬件支持和长时间的运算周期，这对研究机构和个人开发者构成了巨大障碍[^1]。 #### 表征能力瓶颈 尽管通过自监督方法可以有效减少对手动标签的需求并提高泛化性能，但在某些复杂场景下，当前模型可能无法捕捉到足够的语义信息或空间关系特征，从而影响最终效果。例如，在细粒度分类任务中，仅依靠局部区域遮挡策略难以充分表达目标对象的整体特性[^2]。 #### 泛化性不足 现有技术往往针对特定类型的变换进行了优化设计，当遇到未曾见过的新颖变化形式时表现不佳。比如旋转角度较大、尺度差异明显等情况可能导致预训练阶段学到的知识失效，进而降低迁移至下游应用的效果稳定性。 #### 跨模态融合难题 为了实现更加鲁棒可靠的多源感知理解功能，如何有效地将来自不同感官通道的信息结合起来成为了一个亟待解决的问题之一。目前大多数工作主要集中在单一视域内的探索上，对于跨媒体间交互作用机制的研究相对较少，这限制了其实际应用场景范围扩展的可能性。 ```python import torch.nn as nn class MaskedImageModel(nn.Module): def __init__(self): super(MaskedImageModel, self).__init__() # Define layers here def forward(self, x): pass # Implement forward propagation logic ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值