OpenCompass的博客

一个面向生成科研综述的全新评测基准，旨在全面评估生成综述的学术价值，主要从三大维度进行评估：信息价值、学术交流价值和研究指导价值。一个用于系统评估视觉-语言模型任务进度推理能力的基准，关注模型在局部观测下对长时序任务推进程度的判断能力。一个面向高分辨率图像质量评估场景下，细粒度局部退化分析的开创性评测基准。司南·Daily Benchmark 专区今日上新！

一个基于高质量计算机科学论文审稿-回复问答的大规模细粒度问答基准，用于评估模型在学术情境下理解并回答为什么（why）、什么（what）、如何（how）类问题的能力。一个面向真实电商场景的实时、全面且具有挑战性的时尚图像检索基准，包含来自真实线上电商网站的最新商品图像以及AI 生成的时尚图像。首个面向文本主题分类的多语言开放集学习与发现基准，包含来自 12 种语言的 96 万条数据样本。司南·Daily Benchmark 专区今日上新！

一个面向深度研究智能体的多模态基准，包含来自 21 个领域的 140 个专家设计任务，每个任务提供图文组合，用于评估模型的多模态理解能力以及基于引用的报告生成能力。一个用于评估真实软件开发中领域专化方法的新型基准，涵盖 6 个新兴领域，包含 11 个软件框架和 25 个项目，配备了精心构建的知识语料库，并提供多粒度评测任务。一个跨文化推理基准，包含 4,900 条平行句子和 1,098 个独特的文化特定项目，覆盖三类不同的推理任务，并配套相应的评测指标。司南·Daily Benchmark 专区今日上新！

一个专门面向人体姿态编辑的评测基准，包含来自 17 个最先进编辑模型的 1,700 个标准化样本，并同时提供真实性标注与多维度质量评分，从而支持更全面的评估。首个标准化、公开可用的吴语语音处理评测基准，系统覆盖了自动语音识别、吴语到普通话翻译、说话人属性预测、语音情感识别、语音合成以及指令驱动语音合成等多项任务。一个用于评估智能体规划能力的综合性基准，面向空间规划问题这一类高风险任务。司南·Daily Benchmark 专区今日上新！

旨在全面评估当前最先进的 MLLMs 在全景式胃肠道内镜临床流程中的表现，并分析其相对于人类内镜医师的临床实用价值。超高分辨率推理基准，用于评估 MLLMs 在极端高视觉信息密度场景下的推理能力。一个围绕通用性、可量化性与可靠性三大核心原则构建的幻灯片生成评测基准。2025 司南年度最受欢迎评测集评选活动正式火热进行中~司南·Daily Benchmark 专区今日上新！，让真正有价值的评测工作被更多人看见。

首个面向智能体场景的多模态成对情境完整性评测基准， 由源自同一视觉输入的正负样本对构成，并在三个层级展开：规范性的 Seed 判断、富上下文的 Story 推理，以及可执行的智能体行为 Trace。一个面向混合动机博弈的多阶段评测基准，并配套引入了一套过程感知的评估框架，可在以下三个模块上开展协同分析：行为轨迹分析；一个轻量级的并行问题评测基准，用于评估大语言模型在 32 种语言上的语言强制行为，从而支持对多语言 steering 方法进行系统化比较。，让真正有价值的评测工作被更多人看见。

多轮多模态上下文安全评测基准，基于真实图像与多轮对话，围绕两种互补的风险设置来评估 MLLMs 的上下文安全性：升级式风险与语境切换风险。首个将临床医生视线作为“认知光标”来评估模型意图理解能力的评测基准，覆盖外科手术、急诊模拟与影像诊断解读等多种临床场景。司南·Daily Benchmark 专区今日上新！

首个系统性的学术海报编辑评测基准，包含 514 条编辑指令，并基于操作类型、任务难度与抽象层级等多维分类体系进行标注，结合有参考与无参考两种构建策略，以确保任务的真实度与多样性。首个以美国专利商标局专利审判与上诉委员会（PTAB）真实裁决案件为核心构建的评测基准，用于系统评估大语言模型在专利法律领域进行结构化法律推理的能力。一个用于评估多模态与视觉-语言模型在真实 AEC 图纸理解能力上的评测基准，涵盖两类互补的应用场景：目标计数任务和图纸支撑的文档问答任务。

一个用于在真实新闻语境下评估大语言模型金融虚假信息识别能力的评测基准，以段落级别为评测粒度，刻画金融新闻中语义由分散线索共同构成的上下文复杂性。一个用于在无像素级输入条件下评估大语言模型空间智能表现的全新评测基准，包含 3,800 余条专家标注样本，覆盖五大类任务与 17 个子任务。首个面向多语言硬件代码仓库级补全任务的评测基准，聚焦于代码补全任务，覆盖三种主要的硬件设计编码风格。司南·Daily Benchmark 专区今日上新！

首个面向大语言模型的大规模功能影像评测基准，包含来自 9,732 项多中心、多示踪剂 PET 检查的 52,308 条分层问答样本。一个面向多领域、多模态、多维度指标的统一评测基准，用于系统评估多智能体辩论（MAD）方法的有效性、鲁棒性与效率。一个面向时间序列的时空推理基准，涵盖病因推理、实体识别、相关性推理和上下文预测等核心任务。司南·Daily Benchmark 专区今日上新！

首个系统性评测意图驱动空间推理能力的开放世界基准，要求模型将物理事件与其背后的人类目的相联系。用于系统评测大语言模型在多语言医疗任务中的性能，涵盖问答、摘要、医学信息抽取等任务。一个多用途的 4D 空间智能基准，用于全面评估 MLLMs 的 4D 空间推理能力。司南·Daily Benchmark 专区今日上新！

一个标准化的闭环框架，将GPU内核生成、基准评测与实际部署有机连接起来，用于系统评估 LLM 智能体在 GPU 编程中的性能表现与局限性。通过一个严格设计的四阶段构建流程，用于系统评估 LLM 在多组学分析中的两项核心能力：生物分子相互作用推断以及端到端多组学通路机制解析。一个轻量级、开放的评测基准，面向日英翻译系统“好译文如何分优劣”的问题，系统评估礼貌性、语域与含蓄表达等细粒度差异。司南·Daily Benchmark 专区今日上新！

面向。

一个面向多轮澄清的评测基准，通过多维模糊类型和多样化用户模拟，系统评估大语言模型在真实交互中何时提问、何时回答及处理模糊信息的能力。一个用于自然场景下视觉推理能力评测的基准，通过三个复杂度层级系统评估视觉-语言模型在感知补全、规则推理和组合推理上的表现。一个基于计算力学的评测基准，用于系统评估大语言模型生成有限元方法及相关科学代码的能力。司南·Daily Benchmark 专区今日上新！

一个面向中文领域、贴近真实应用场景的深度研究评测基准，用于弥补现有评测在开放式研究智能体能力上的不足。一个以魔方为载体的评测基准，用于系统评估多模态大模型的空间推理与时序推理能力。司南·Daily Benchmark 专区今日上新！

每一个优秀的评测基准，都是大模型能力进化的重要基石。而那些从 0 到 1 构建评测基准的研究者与团队，往往站在行业最前沿，却并不总是被足够多的人看见。如果你是来自学术界或产业界的专家，也非常期待你留下专业评价与建设性建议。你的每一条反馈，都是评测基准不断完善的重要参考。让优秀的评测基准被看见，让真正有价值的工作被记住！期待你和司南一起，推动大模型评测走得更远、更稳。构建过一个扎实、可靠、有价值的评测基准。或者见过、用过、认可某个优秀的评测工作。，让真正有价值的评测工作被更多人看见。

一个面向科学通用智能的评测基准，由 1,000 余个经专家精心策划的跨学科样本构成，灵感来源于《Science》杂志提出的 125 个重大科学问题。一个面向长篇、多目标图像生成任务的评测基准，包含 2,000 个任务，用于系统评估模型在复杂布局、局部对象、排版和标志精度等多目标指令下的执行能力。一个统一的图像驱动生成评测基准，提供标准化指标用于评估跨任务的生成保真度与可控性。司南·Daily Benchmark 专区今日上新！

一个面向遥感视觉理解与推理的超高分辨率评测基准，包含 5,329 张完整场景影像，图像长边不少于 4,000 像素，单张图像像素量最高约 3×10⁸，数据来源于广泛使用的遥感数据集以及无人机影像集合。一个从真实 GitHub Pull Request 自动构建的、覆盖 11 种语言的可扩展仓库级代码生成评测基准，用于系统评估和提升大模型在真实软件工程任务中的能力。司南·Daily Benchmark 专区今日上新！

该数据集包含 40 类细粒度手势，共 13,948 个实例，分布在 1,272 个序列中，特点是动作细微、动态快速且连续执行。一个用于评估单智能体多工具架构下工具编排隐私风险（TOP-R）的基准，包含成对泄露与良性场景，支持安全性与鲁棒性的综合评测。一个用于系统评估大语言模型表格生成质量的基准，覆盖六个领域、十二种由规划器驱动的扰动类型，并分为三个难度等级。一个面向智能体工具协作的多类型求解偏微分方程（PDE）基准，并提出多层级指标用于评估工具协调性。司南·Daily Benchmark 专区今日上新！

一个面向视频时间定位（VTG）的高质量评测基准，通过对多个主流数据集进行严格标准下的重新标注，用于可靠评估多模态大模型的时间定位能力。一个面向真实世界复杂代码的推理评测基准，包含 1,101 个代码推理问题，其中 195 个问题来自成熟的真实世界项目。一个面向可解释 AI 生成视频检测的评测基准，包含 3,000 个由十余种最先进视频生成模型产生的高质量样本。司南·Daily Benchmark 专区今日上新！

一个面向音频与文本驱动数字人动画生成的评测基准，用于全面、客观地评估模型在视频质量、身份一致性、语义对齐和口型同步等关键能力上的表现。一个数学表达式识别评测基准，将表达式按简单、中等和复杂三类划分，用于系统评估模型在处理多行、多符号复杂数学表达式时的识别能力。首个面向长视频问答的关键帧采样评测基准，通过引入多场景标注，实现对采样策略直接且稳健的评估。司南·Daily Benchmark 专区今日上新！

一个用于评估芬兰语大语言模型的统一评测基准套件，覆盖了阅读理解、常识推理、情感分析、世界知识和对齐任务中的多项选择与生成式任务。一个用于评估大语言模型在入门量化交易任务表现的评测基准，通过要求模型根据自然语言策略描述和市场假设构建可执行回测器来进行测试。一个专业图像生成评测基准，通过细粒度评分量表评估模型的科学精确性和信息密度，并支持迭代优化。一个专门用于评估代码智能体长时序仓库生成能力的评测基准。司南·Daily Benchmark 专区今日上新！

一个多粒度视频理解评测基准，包含全局、像素和时间尺度的协同任务，用于系统评估视频大语言模型在多粒度协作理解能力上的表现。一个复杂图像编辑评测基准，用于系统评估复杂编辑场景下的模型能力。首个面向基于推操作的移动机器人导航与操作任务的统一评测基准。司南·Daily Benchmark 专区今日上新！

一个用于评估多模态大模型 连续视觉输入空间理解能力的评测基准，基于 1,278 个来自 25 个公开数据集与自采视频的片段，共构建了 1,106 个问题，并围绕 感知、规划、预测与跨视频推理四个层级进行体系化设计。一个面向“微观空间智能”的系统化评测基准，包含逾 16.3 万个问答对、58.7 万张由约 4,000 个分子结构生成的图像，覆盖九类互补任务，评估模型从基本空间变换到复杂关系识别的多层次能力。一个专注于“动作中心图像编辑”能力的评测基准，从生成式、判别式和偏好式三类指标对模型能力进行全面衡量。

数据静态、复杂度固定：现有基准多为人工构建、缺乏更新，难以匹配 MLLMs 的快速迭代，无法有效刻画模型的真实能力上限，迫切需要能动态调整复杂度的自动化框架。应用动态策略后，所有模型安全性能大幅下降，表明现有模型可能是在“记住”哪些回答是安全/不安全，而不是理解其背后的“安全要素”与 ASD 相比，PAR 的下降幅度更大，说明动态策略显著提升了任务难度，分散了模型注意力，削弱其安全判断能力。为此，研究团队根据数据集规模对各模型在安全和能力两方面的动态评测得分进行加权，并绘制其能力–安全散点图。

首个基于仿真的语言指令社会感知导航评测基准，构建于 Rosnav-Arena 3.0 之上，是第一个将指令遵循与场景理解纳入多样化环境的标准化社会感知导航评测。首个高质量的红外图像多模态理解评测基准，由 23 个红外数据集中的 499 张图像及 680 条精心筛选的视觉问答对组成，覆盖图像理解的 10 个核心维度。一个综合评测基准，包含基于推理的视频编辑和上下文视频生成两个互补子集，用于系统化评估模型在物理合理性和因果动态下的推理驱动视频编辑能力。司南·Daily Benchmark 专区今日上新！

一个统一评测基准，包含 431 组视频编辑样本，通过三项与人类评价高度一致的指标，系统评估指令式视频编辑模型的性能。一个多图像组合评测基准，涵盖每个任务的标准样例和复杂的拆解重组样例，用于全面评估模型的组合能力。一个用于诊断 VLM 在相机姿态变化与物体干扰条件下空间推理稳健性的全新可控基准。一个图表空间理解评测基准，用于全面评估多模态大模型对图表视觉结构的理解能力。司南·Daily Benchmark 专区今日上新！

一个用于评估模型在 GUI 场景中对缩放操作适应能力的全新基准，旨在启发未来研究进一步利用缩放能力，促进 GUI Grounding 任务在训练阶段和测试阶段的扩展性提升。一个由人工精细标注的视觉推理评测基准，专门用于衡量多模态大模型在“推理链追踪”任务中的能力。司南·Daily Benchmark 专区今日上新！

一个面向图像到图像编辑模型的综合基准，涵盖 10 类单图与多图编辑任务、30 个细粒度评估维度，并通过自动化混合评估方法与严格一致性验证，全面衡量模型的编辑能力。首个专注AI生成图像 室内空间美学评估的基准数据集，涵盖 18,000 张图像与 50,000 条标注，系统覆盖布局、协调性、光照和失真四大维度。一个面向企业级数据智能场景的综合基准，涵盖 210 个真实复杂的数据工程与数据分析任务，系统模拟从原始数据加工到业务洞察生成的完整工作流程。司南·Daily Benchmark 专区今日上新！

研究团队在四个预训练多模态模型上开展实验：Qwen2.5VL-7B、InternVL2.5-8B、llava-v1.6-mistral-7B 和 GPT-4o。对于前三个开源 MLLM，在未经过精调和基于 Q-Real 训练集使用任务特定精调框架进行精调后的两种设置下进行评估，对于 GPT-4o，仅在 Q-Real Bench 上直接测试其性能，不进行额外设置。主要发现ObjectQA。

针对水科学与工程领域设计的 LLM 评测基准，涵盖九个子领域，共 4,000 道多项选择题，可系统评估大语言模型在基础概念知识、工程应用能力以及推理与计算能力方面的表现。首个面向自我视角视频的任务导向时空视频定位基准，基于 ScanNet 视频构建，包含 100 个带标注的视频片段，共计 2,704 条任务导向定位指令。一个用于评估图像-文本细粒度对齐能力的基准，通过对多模型生成的图像-描述对进行正确性标注，衡量视觉语言模型的对齐效果。司南·Daily Benchmark 专区今日上新！

一个统一且全面的基准，用于评估视频生成、条件视频生成及视频理解中的感知与预测能力。PAI-Bench 包含 2,808 个真实世界场景案例，并设计了与任务对齐的评测指标，以量化物理合理性及领域特定推理能力。基于两大基本范式：文本到视频（T2V）和图像到视频（I2V），涵盖 6 类规则的 40 个代表性任务，共 622 个高质量标注实例。一个以事件为中心的危机舆情数据集，涵盖 463 个危机事件及其相关新闻、社交媒体帖子和参考摘要，用于支持自动化在线舆情报告生成任务的研究与评测。

一个面向科学自动化深度研究的模块化综合基准，包含一个人工标注的数据集，涵盖 10 个科学领域，共 200 个实例，包括研究论文和综述论文。一个用于评测多模态大模型和具身操作规划模型在家电操作规划中的关键任务表现，包括：手册页面检索、家电部件定位、开环操作规划以及闭环操作调整。一个面向工具增强型机器学习智能体的综合评测基准，旨在系统考察智能体在端到端数据科学流程中的规划、调用工具及管理中间结果的能力。司南·Daily Benchmark 专区今日上新！

实验结果表明，经过微调的视频模型在空间推理方面表现出强大的能力，并且在各项指标上持续超越领先的视觉语言模型（VLMs）。为全面评估视频模型的推理能力，研究团队在 VR-Bench 上进行了系统实验，评测了多种最新的商用与开源视频生成模型。大规模实验表明，基于视频的推理在复杂任务上优于基于文本的推理（如 VLM），尤其在迷宫类型、视觉风格及难度变化等分布偏移下表现更强。此外，研究团队在 VR-Bench 上对开源视频模型 Wan2.2-TI2V-5B 进行了微调，以研究其在推理任务上的泛化能力。

一个面向以人为中心的开放未来任务发现研究的基准数据集，旨在评估模型在复杂、动态的人类场景中自主发现任务的能力。该基准包含超过 2000 条真实世界视频，并配备半自动化标注流程。系统评估多智能体框架在端到端气候数据分析中的能力，包含 85 个真实世界任务，覆盖大气河流、干旱、极端降水、热浪、海表温度和热带气旋等多个关键气候领域。首个针对多模态大型语言模型（MLLMs）的选择性遗忘评测基准，旨在系统评估模型在移除敏感知识的同时保持通用视觉理解能力的表现。司南·Daily Benchmark 专区今日上新！

一个专门为评估多模态大语言模型在具身智能任务中精细动作能力而设计的新基准，包含 1,368 个精心挑选的视频和 19,562 个三模态问答对，覆盖物理交互、时序因果关系、意图理解和评估判断四大认知维度。一个专为评估文本驱动图像编辑效果而设计的基准套件，收录了多样的源图像、丰富的编辑提示及不同方法生成的编辑结果，并提供近 4,000 个样本的人类平均意见分。面向化学领域的多模态推理基准，旨在评估多模态大语言模型的视觉-文本-符号推理能力。司南·Daily Benchmark 专区今日上新！

一个大规模、系统化评测大语言模型“撒谎”行为的基准测试平台，包含超 7 万条来自多模型、多数据集的诚实与撒谎示例，覆盖不同类型的撒谎动机和目标信念。一个面向地理空间基础模型（GeoFMs）的综合评估基准，涵盖分类、分割、回归、目标检测和实例分割等任务，使用 19 个许可宽松的数据集进行测试。首个用于评估具身智能体间接越狱能力的基准，包含 1,632 条良性指令和 3,957 条恶意指令，覆盖了广泛的任务复杂度与攻击情景。司南·Daily Benchmark 专区今日上新！

一个以能力为核心构建的多模态推理评测套件，从多个主流基准（如 BLINK、TIR-Bench、MathVerse、MathVista 等）重新采样并整合数据，并基于六大能力维度对实例进行标注，同时补充视觉导航等交互场景。它为模型提供统一、可比的能力评估视角，可用于系统分析多模态推理模型在不同任务中的能力调度与协同表现。一个用于系统评估视频模型推理能力的综合基准。一个面向学术场景动态钓鱼攻击的统一框架与基准套件，用于系统性评估 MLLM 的防御能力。司南·Daily Benchmark 专区今日上新！

通过对 28 个专有与开源 MLLM 的测试，VP-Bench 分析了影响视觉提示理解的关键因素，如属性变化、问题排列和模型规模，为研究 MLLMs 如何理解和解决基于视觉定位的指代问题提供了新的参考框架。通过在专家混合模型与稠密模型上进行微调实验，结果显示微调后的模型在超过 75% 的任务上显著优于基础模型。面向多模态大模型的内容安全评测套件，涵盖四种模态、九类风险的大规模双语数据集，并提出用于评估交叉风险的 MCRS 指标以及基于多模型评审的 FairScore 框架。