突破短视频局限！MMBench 构建中长视频开放问答评测基准，全面评估多模态大模型视频理解能力

原创 已于 2024-12-23 15:27:13 修改 · 1.2k 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#音视频 #人工智能 #大模型评测 #OpenCompass

于 2024-12-23 15:19:40 首次发布

本文经量子位（公众号 ID: QbitAI）授权转载，作者：新宇

GPT-4o 四月发布会掀起了视频理解的热潮，而开源领军者 Qwen2 也对视频毫不手软，在各个视频评测基准上狠狠秀了一把肌肉。

但当前大部分评测基准仍然具有以下几个缺陷：

  • 多注重于短视频，视频长度或视频镜头数不足，难以考察到模型的长时序理解能力；

  • 对模型的考察局限在部分较为简单的任务，更多细粒度的能力未被大部分基准所涉及到；

  • 现有的基准仍可以仅凭单帧图像以获取较高的分数，说明问题和画面的时序性关联不强；

  • 对开放性问题的评估仍旧采用较旧的GPT-3.5，打分和人类偏好有较大的偏差且并不准确，容易高估模型性能。

针对这些问题，有没有对应的基准能够较好解决这些问题呢？

在最新的 NeurIPS D&B 2024 中由浙江大学联合上海人工智能实验室，上海交通大学和香港中文大学提出的 MMBench-Video 打造了一个全面的开放性视频理解评测基准，并针对当前主流 MLLM 构建了开源的视频理解能力评估榜单。

图片

全能力链条覆盖高质量数据集

最低0.47元/天 解锁文章
MMBench论文解读——如何评估基于指令微调的视觉语言模型的各项能力
大F子的智能小课
04-01 2045
MMBench，是一个针对大规模多模态模型的新型评估基准。随着视觉语言模型在感知和推理能力方面的显著进步，如何有效地评估这些模型成为了一个主要难题。传统基准如VQAv2和COCO Caption提供了定量性能测量，但在细粒度能力和鲁棒性评估指标方面存在不足。而像OwlEval这样的主观性基准虽然能够全面评价模型能力，但其可扩展性差且易受偏见影响。一是精心构建的超越现有同类基准的数据集，该数据集包括2,974个经过细致挑选的问题，覆盖了20种不同类型的细粒度技能；
LLM - 理解 多模态大语言模型(MLLM) 的 评估(Evaluation) 与相关技术 (六)
AGI
09-19 2148
评估(Evaluation) 是研发 多模态大语言模型(MLLM)的重要部分，为模型优化提供反馈，有助于比较不同模型的性能。与传统多模态模型的评估方法相比，MLLM 评估表现的特点包括，由于 MLLM 通常具有通用性，因此全面评估 MLLM 非常重要。MLLM 展现出许多 涌现(Emergent) 能力，需要特别关注，例如，无需 OCR 的数学推理，因此需要新的评估方案。根据问题类型，MLLM 的评估可以分为两个大类，即 封闭集(closed-set) 和 开放集(open-set)。
MMBench-Video：上海 AI Lab 联合多所高校推出长视频理解基准测试工具，全面评估 LVLMs 视频理解的能力
士多啤梨先生の博客
11-05 1134
MMBench-Video 是一款用于评估大型视觉语言模型在视频理解能力上的基准测试，涵盖了 16 个类别的长视频，每个视频时长从 30 秒到 6 分钟不等。
突破短视频局限！MMBench 团队构建中长视频开放问答评测基准，全面评估多模态大模型视频理解能力...
量子位
10-30 380
新宇投稿 凹非寺量子位 | 公众号 QbitAIGPT-4o 四月发布会掀起了视频理解的热潮，而开源领军者Qwen2也对视频毫不手软，在各个视频评测基准上狠狠秀了一把肌肉。但当前的大部分评测基准仍然具有以下几个缺陷：多注重于短视频，视频长度或视频镜头数不足，难以考察到模型的长时序理解能力；对模型的考察局限在部分较为简单的任务，更多细粒度的能力未被大部分基准所涉及到；现有的基准仍可以仅凭单帧图像以...
Qwen-VL模型评估数据集：MMBench与SeedBench详解
gitblog_00223的博客
09-17 897
在多模态大语言模型（Multimodal Large Language Model, MLLM）快速发展的今天，如何全面、客观地评估模型的视觉-语言理解能力成为关键挑战。Qwen-VL（通义千问-VL）作为阿里巴巴达摩院提出的大视觉语言模型，采用MMBench和SeedBench两大专业数据集进行系统评估。本文将深入解析这两个数据集的设计理念、评估维度与实践方法，为开发者提供从数据准备到结果分析的...
多模态模型评测神器 | OpenCompass MMBench 了解一下！
OpenCompass的博客
08-06 6609
MMBench 是 OpenCompass 研究团队自建的视觉语言模型评测数据集，可实现从感知到认知能力逐级细分评估。研究团队从互联网公开信息与权威基准数据集采集约 3000 道单项选择题 ，覆盖目标检测、文字识别、动作识别、图像理解、关系推理等 20 个细粒度评估维度。
MVBench多模态大模型视频理解能力基准 | CVPR Highlight
OpenGVLab的博客
10-08 1757
同时，基于对已有多模态模型的缺陷分析，提出了更强大的基线模型VideoChat2。近期的图像对话模型评测研究，倾向于从不同的感知和认知角度，考察模型多种能力，并基于不同的能力设计评测任务，再通过人工采集、标定数据。通过比较图像和视频任务的本质区别，联合团队确定了一种简单可扩展的方案，即首先总结基本的图像评测任务，再由这些任务出发，构建无法通过单帧有效解决的视频任务。提取取每个数据集中合适的视频长度，过短的视频往往动作幅度较小，而过长的视频包含过于复杂的上下文，问题过难会导致无法区分不同模型的能力；
【探索多模态视觉问答】数据集概览及特点分析
weixin_45921929的博客
03-25 5665
在计算机视觉和自然语言处理领域，视觉问答（VQA）是一个重要的任务，旨在让计算机理解图像内容并回答关于图像的问题。为了促进和评估多模态模型在视觉问答任务上的表现，研究人员构建了多个丰富的数据集。本文将介绍几个主要的视觉问答数据集，包括VQA v2.0、VizWiz-VQA、GQA、POPE、MM-VET、MME、MMBench和SEED-Bench。我们将分析这些数据集的特点、构建方式以及在评估多模态模型方面的作用，旨在为研究人员提供对多模态视觉问答数据集的全面认识。
【亲测免费】 MMBench 开源项目教程
gitblog_00068的博客
08-22 756
MMBench 开源项目教程 项目介绍 MMBench 是一个面向多模态基准测试的开源项目，它旨在提供一个全面的评估框架，帮助研究者和开发者衡量和理解在不同场景下多模态模型的性能。该项目集成了多个任务和数据集，覆盖视觉、文本以及它们的结合，从而推动多模态领域的研究进展。通过MMBench，用户可以轻松地比较现有的多模态模型，或是作为新模型开发的起点。 项目快速启动 快速启动MMBench，首先确保...
含284个数据集，覆盖18项临床任务，上海AI Lab等发布多模态医疗基准GMAI-MMBench
HyperAI超神经
11-19 1298
内含数据集下载链接
视频融合平台EasyCVR远程监控技术在沙尘暴交通监控中的应用
AI与流媒体视频技术
11-24 415
此外，灵活的部署方式和跨终端覆盖能力进一步提升了管理效率。
超越 VTM-RA！快手双向智能视频编码器BRHVC亮相NeurIPS2025
kuaishoutech的博客
11-24 604
快手音视频技术团队提出了全新的双向智能视频编码方法 —— BRHVC。该方法不仅在压缩性能上显著超越业内最先进的端到端智能视频编码方案，也成功超越最新标准的 VTM-RA 编码。 文章亮点： 从低时延模式到双向模式的扩展 创新的双向智能视频编码框架
从帧到世界：面向世界模型的长视频生成
最新发布
Lab4AI的博客
11-25 830
是一种，例如理解“抛球会落地”或“太阳东升西落”等常识。其技术本质是通过大量数据学习物理规律、因果关系和时空逻辑，形成兼具“认知”与“预测”能力的模型框架。不只是拼接现有素材，而是，自主生成连续且连贯的视频帧序列，核心在于保证画面在时间和空间上的一致性与连续性。当视频生成技术面向世界模型时，其目标就不再是单纯地制造画面，而是要求生成的内容必须契合世界模型对现实世界的认知逻辑。这意味着，以支撑世界模型进行更深入的推理与交互。
鸿蒙Qt音频实战：解决QMediaPlayer的高延迟与杂音问题
小淼淼的博客
11-23 807
在将Qt开发的音乐节奏游戏移植到鸿蒙平台时，音频延迟问题成为关键挑战。研究发现，Qt Multimedia框架因跨平台缓冲和JNI桥接导致200ms延迟，严重影响游戏体验。通过直接调用鸿蒙原生OH_AudioRenderer接口并设置低延迟模式，成功将延迟降至40ms以内。过程中还解决了采样率不匹配导致的杂音问题，需动态解析WAV文件头并正确配置音频参数。该方案为音游类应用提供了有效的低延迟音频解决方案，同时指出普通应用仍可使用Qt Multimedia框架保持开发便利性。
【Python脚本系列】PyAudio+librosa+dtw库录制、识别音频并实现点击（四）
2401_82756020的博客
11-24 270
2.本例中的程序会识别系统所有音量，所以如果想单独识别某个应用的音量，可以把“系统音量的输出设备变为cable input(VB-Audio Virtual Cable)”的操作变为打开音量合成器，找到某个应用，然后把该应用的音量输出设备变为cable input(VB-Audio Virtual Cable)，如此其他应用的音量不会被识别到。1."A.wav", "B.wav", "C.wav"提前录制好的音频得放在脚本同一目录下。：将实时音频 MFCC 与模板音频 MFCC 做相似度匹配。
niri 音频图形界面工具
nvd11的专栏
11-23 876
兼容 PipeWire 的图形化音频管理工具。就可以快速打开音频控制面板。- 可视化音频路由和连接。
Android16音频之获取参数getParameters：用法实例(一百一十四)
Android系统攻城狮
11-25 45
本篇目的：Android16进阶之获取参数getParameters：用法实例基本概念getParameters通过AudioManager向音频 HAL 发送键名列表，返回对应键值字符串，用于读取厂商自定义配置、调试状态、硬件能力等底层信息。功能支持多键拼接查询；返回“key=value;”格式；与厂商 HAL 实现联动；无需应用权限（系统签名有效）；与setParameter成对使用。使用限制需系统签名或平台权限；键名由厂商定义，无统一标准；返回字符串需自行解析；调用失败返回空字符串；
视频汇聚平台EasyCVR赋能石油管道计量站精准监控与安全管理
EasyCVR视频融合云平台的技术博客
11-24 785
在石油石化行业，管道输送是保障能源供给的生命线。而管道计量站作为这条生命线上的“贸易结算关口”与“安全监控节点”，其计量的准确性、数据的安全性与现场的可视化管控至关重要。
多模态大模型测试
04-05
<think>好的，用户想了解多模态大模型的测试方法、工具和框架。首先，我需要回忆一下之前提供的引用内容，看看有没有相关的信息。引用3提到了VLMEvalKit，这是一个开源的评估工具包，由Open Compass团队开发，支持一键式评估，适合多种任务场景。这可能是一个重要的工具，需要详细介绍一下。 然后，引用2提到了多模态大模型的核心算法原理，比如表示学习、注意力机制、跨模态对齐等，这些可能在测试时需要关注的点。测试方法可能需要验证这些机制的有效性，比如跨模态对齐是否正确，注意力机制是否捕捉到了关键信息。 引用4提到了评测数据集，还指出训练数据量大、计算资源消耗高等缺点，这可能影响测试时的考量，比如需要大规模的数据集来测试模型的泛化能力，同时要注意资源消耗的问题。 接下来，用户的问题可能还涉及到具体的测试框架和方法论，比如如何设计测试用例，评估哪些指标，以及现有的工具有哪些。需要结合引用中的信息，整理出系统化的测试方法，包括单元测试、集成测试、性能评估、鲁棒性测试等。 还要考虑开源工具，除了VLMEvalKit，是否有其他工具，比如HuggingFace的框架或者MMBench等。可能需要分点列出工具，并说明它们的特点和适用场景。 另外，测试方法中可能需要涵盖不同的任务场景，比如图像描述、视觉问答、多模态推理等，引用3提到VLMEvalKit覆盖多样化任务，可以举例说明这些任务如何测试。 最后，用户可能需要了解测试中的挑战，比如数据准备、评估指标的选择、计算资源限制等，引用4提到数据量大和资源消耗高的问题，这也是测试时需要注意的地方。 需要确保回答结构清晰，分点说明测试方法、工具框架、挑战，并结合引用中的信息，自然地加入引用标识。同时，生成相关问题，可能涉及评估指标、挑战，或者具体工具的使用方法等。</think>### 多模态大模型测试方法与工具详解 #### 一、多模态大模型测试方法论 1. **单元测试** - 验证单模态编码能力：测试图像/文本/语音等独立模态的特征提取质量，例如图像分类准确率或文本语义相似度 - 示例：使用$Accuracy = \frac{TP+TN}{TP+TN+FP+FN}$评估视觉分类模块性能 2. **跨模态对齐测试** - 通过图文匹配任务验证模态间关联能力，如$CLIP$模型的对比学习评估[^2] - 构建对抗样本测试跨模态鲁棒性，例如添加噪声后的图文匹配稳定性 3. **端到端任务测试** - 覆盖多模态对话、视觉问答(VQA)、图像描述生成等典型场景 - 使用BLEU-4、ROUGE-L等指标评估生成质量[^4] 4. **性能基准测试** $$ \text{Throughput} = \frac{\text{处理样本数}}{\text{单位时间}} \quad \text{Latency} = T_{\text{end}} - T_{\text{start}} $$ 需测试不同硬件配置下的计算效率 #### 二、主流测试工具与框架 | 工具名称 | 特点 | 适用场景 | |---------|------|---------| | **VLMEvalKit**[^3] | 开源一键式评估，支持20+数据集 | 通用多模态任务 | | **MMBench** | 细粒度能力评估矩阵 | 模型能力诊断 | | **HuggingFace Evaluate** | 集成200+评估指标 | 生成任务评估 | | **ModelZoo** | 预置测试pipeline | 快速原型验证 | #### 三、测试实施关键步骤 1. **数据准备** - 使用COCO、Flickr30K等标准数据集 - 构建包含长尾分布的测试集（如罕见物体组合） 2. **评估指标选择** - 生成任务：CIDEr, SPICE - 检索任务：mAP@K - 推理任务：准确率加权得分 3. **测试环境配置** - GPU集群资源分配策略 - 分布式测试框架部署（如PyTorch Distributed） #### 四、典型挑战与解决方案 1. **模态失衡问题** 通过$Loss = \alpha \mathcal{L}_{\text{视觉}} + \beta \mathcal{L}_{\text{文本}}$动态调整损失权重 2. **评估主观性** 引入人类评分(Human Rating)与自动化指标结合机制 3. **计算资源限制** 采用参数高效微调(PEFT)技术降低测试成本
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值