陈文虎:为AI模型评估出题,让“旧考卷失灵”问题不再是难题!

数量1倍数特性.pdf 立即下载

前沿模型评估的“标准科目”

每次前沿模型发布,AI圈都会关注几张熟悉的成绩单,如MMLU - Pro、MMMU、MMMU - Pro等。这些对普通用户陌生的名字,对模型公司和研究者而言,几乎成了“标准科目”。GPT、Claude、Gemini、Llama、Qwen、DeepSeek等模型不断在这些基准上交卷,模型的好坏往往靠这些分数证明。很多模型发布会上的性能对比图、HuggingFace上的一些排行榜,都离不开这些评测体系。如今,AI行业讨论模型能力时,使用的是由这些基准定义的共同语言。然而,几乎所有人关注分数,却很少有人知道出题人是谁,而MMLU - Pro、MMMU和MMMU - Pro背后的出题人是陈文虎。

陈文虎其人

陈文虎是加拿大滑铁卢大学计算机科学系助理教授,在谷歌学术上,他的论文被引用超过3万次。他也是“老虎实验室(TIGERLab)”的创始人,该实验室英文全称是Text and Image GEnerative Research Lab,因其名字里有“虎”字,陈文虎为其起了中文名“虎头帮”。

旧考卷失灵之后

陈文虎最先因MMLU - Pro受到更多关注。MMLU曾是大语言模型能力评估中常用的基准评测,像综合试卷,覆盖多学科,用于衡量模型在知识理解和推理任务上的表现。早期,它很有用,能拉开模型差距,让行业观察大语言模型的进步。但随着模型能力提升,MMLU逐渐“不够考”,前沿模型分数越来越高,差距越来越小。到OpenAI发布o3后,问题更明显,o3在MMLU上准确率接近100%,其他前沿模型也逼近满分。这对评估来说是麻烦,因为大家都考接近满分,就难以判断谁更强及强在哪里,它虽能证明模型具备某些能力,却不适合衡量新进步。于是,2024年,陈文虎和团队推出MMLU - Pro。

MMLU - Pro重新改造了考卷,包含12032道题,覆盖14个领域。相比原版MMLU,它把选项从4个扩展到10个,降低模型靠猜测蒙对的概率,同时加入更多偏推理的问题,清理原题库中简单、有歧义或区分度不足的题目。论文结果显示,模型在MMLU - Pro上的准确率比原版MMLU下降16%到33%,同一模型在24种不同提示词风格下测试时,成绩波动从原MMLU的4%到5%下降到约2%。这表明新卷子更难且更稳定,能拉开旧考卷上优秀模型的差距,也更容易看出模型是真会推理还是擅长应付旧题。

好用的基准评测

MMLU - Pro很快被行业采用,随后进入NeurIPS2024数据集与基准评测赛道,也被EleutherAI的语言模型评测框架lm - evaluation - harness集成。对开源模型社区来说,它进入了常用评测工具链。很多模型发布时开始报告MMLU - Pro分数,HuggingFace上的一些排行榜也将其纳入评估体系。

如果说MMLU - Pro解决了语言模型评估的“旧考卷失灵”问题,那么MMMU则将陈文虎和TIGERLab推到多模态评测中心。多模态模型问题更复杂,语言模型答题主要处理文字,而多模态模型要同时处理图片、图表等不同形式信息,需读懂题干、看懂图像内容,并将视觉、文本信息和学科知识结合推理。

MMMU基准评测包含1.15万道多模态问题,来自大学考试、测验和教材,覆盖六大领域,细分为30个学科和183个子领域。这些题目要求模型像学生做专业题一样,结合图像信息和学科知识。MMMU发布时,研究团队测试了14个开源多模态模型以及GPT - 4V、GeminiUltra等代表性闭源模型,即便当时最强的闭源模型GPT - 4V和GeminiUltra准确率也只达到56%和59%,这说明多模态模型虽进步快,但在专业理解和推理问题上仍有很大提升空间。

后来,陈文虎团队推出MMMU - Pro,进一步堵住模型绕过视觉信息的空间。它过滤掉只靠文本模型能回答的问题,扩展候选项,引入vision - only设置,把问题嵌入图像中,要求模型同时完成视觉读取和文本理解,即不让模型“只看文字猜答案”。这类工作虽琐碎,但很关键,因为多模态模型未来要进入医疗、教育等场景,仅能描述图片不够,必须具备判断、推理、解释能力,能在复杂视觉信息中找到有用部分。

“考卷”背后的人

陈文虎做MMLU - Pro和MMMU,源于他一直以来的研究方向。他的研究兴趣与复杂信息理解、知识问答和推理有关。他本科毕业于华中科技大学,之后到德国亚琛工业大学攻读硕士,再到加州大学圣巴巴拉分校获得计算机科学博士学位。博士期间,他围绕复杂问答、表格推理、知识证据定位等方向研究,这类任务的答案往往不在单一文本里,可能藏在表格、需结合文字和图片,或需模型检索、整合、计算和推理,模型不能只会复述已有知识。

陈文虎参与过的HybridQA、TabFact、ProgramofThoughts、MAmmoTH等项目都与该研究方向有关,这也使他对模型评估里的漏洞敏感。好的基准评测不是把题目变难,而是要预判模型容易“蒙对题”“看起来会”的地方,如模型可能记住题库、靠选项猜答案、用文字绕过视觉信息等,好的评估要补好这些漏洞。

博士毕业后,陈文虎进入谷歌研究院,2021年至2025年参与谷歌DeepMind的Gemini多模态模型和评估工作。这段经历让他更清楚模型能力的增长方式,也更容易发现评估中的偏差和盲区。2022年秋季,他加入滑铁卢大学计算机科学学院担任助理教授,同年入选CanadaCIFARAIChair,之后创办“老虎实验室(也就是虎头帮)”,继续围绕基础模型、多模态能力和基准评测展开研究。

虎头帮不仅做基准评测,也进行模型和系统研究。在视频方向上,UniVideo试图将视频理解、生成和编辑纳入同一框架,让模型能理解内容、响应指令并完成修改;Vamba瞄准长视频理解,解决一小时级别视频带来的显存、计算和训练效率问题;与Meta生成式AI团队合作的MoCha,重点放在说话虚拟角色生成上,通过语音和文字描述生成高质量人物视频。自己下场做模型,让他们更适合做评估,因为好的评估来自对模型能力边界的理解,只有了解模型的制作过程和在真实任务中遇到的问题,才更容易设计出能测出差距、暴露问题的题目。如今,陈文虎进入Meta超级智能实验室,工作集中在多模态预训练数据和评估,并服务于Meta基础模型。

AI行业中,聚光灯通常落在创业者、明星研究员和大模型公司负责人身上,但今天的AI领域,华人人才的参与已不止这些显眼位置。

__EF550.zip 立即下载

相关推荐

【高速互连技术】合规性测试规范:物理层信号完整性与链路均衡验证系统设计

内容概要:本文档介绍了分析工具进行实践对照,并关注后续规范版本更新以确保符合最终发布标准。

AI 成绩单背后,藏着一位华人“出题人”

在视频方向上,UniVideo试图把视频理解、生成和编辑放进同一个框架,让模型不只是生成一段画面,也能理解内容、响应指令并完成修改。多模态模型则要同时处理图片、图表、示意图、地图、表格、乐谱、化学结构等不同形式的信息。MMMU基准评测包含1.15万道多模态问题,来自大学考试、测验和教材,覆盖艺术与设计、商业、科学、健康与医学、人文社科、技术与工程六大领域,进一步细分为30个学科和183个子领域。它可能藏在一张表格里,也可能需要结合一段文字和一张图片,还可能需要模型先检索信息,再整合、计算和推理。

2501_91883294的博客 478

万人睡眠健康与生活方式调查数据集

成年人群睡眠健康与生活方式研究数据集,合成模拟10000行20列单CSV文件,睡眠障碍标记人群占比约四分之一。设置双预测目标:睡眠障碍二分类字段与日间疲劳得分回归字段,可分别开展分类与回归建模。特征字段涵盖年龄、性别、十一种职业类别、每周工作时长、轮班工作标记、自我压力评分、身体质量指数BMI、吸烟状态、每周饮酒量、每日咖啡因摄入毫克数、睡前一小时屏幕使用时间、每周运动分钟数、日均步行数、静息心率、习惯就寝时间点、平均睡眠时长、睡眠质量自评等二十项。数据完整无缺失,结果列与特征列分离清晰,便于目标泄漏防范练习。适用场景:睡眠障碍预测建模、日间疲劳程度回归分析、咖啡因与睡前屏幕对睡眠时长的影响量化、不同职业群体睡眠质量对比研究、逻辑回归与梯度提升模型对比实战等。合成数据不含真实个人信息,适合健康数据分析教学、特征工程练习与机器学习课程实训项目使用。

陈文虎及其团队推出MMLU - Pro、MMMU等评测,为AI模型评估补漏洞

陈文虎最先被更多人注意,是因为MMLU - Pro。MMLU曾是大语言模型能力评估常用基准评测,早期有用,但随着模型能力提升,它变得“不够考”,前沿模型分数接近满分,难以继续判断谁更强。2024年,陈文虎和团队推出MMLU - Pro,重新改造考卷,包含12032道题,覆盖14个领域,把选项从4个扩展到10个,加入更多偏推理问题,清理简单、有歧义或区分度不足的题目。论文结果显示,模型在MMLU - Pro上准确率相比原版MMLU下降16%到33%,成绩波动也下降,新卷子更难且更稳定,拉开了模型差距。

IT界那些事儿 74

FANUC-R2000iC165F-六轴机械臂码垛仿真

FANUC_R2000iC165F_六轴机械臂码垛仿真

frontend-design skills

frontend-design skills

考虑风光火储+需求响应+P2G多能源系统NSGA-II多目标优化调度(Matlab代码实现)

考虑风光火储+需求响应+P2G多能源系统NSGA-II多目标优化调度(Matlab代码实现)内容概要:本文介绍了基于NSGA-II多目标优化算法对包含风能、光伏、火电、储能系统、需求响应及电转气(P2G)等多种能源形式的综合能源系统进行优化调度的研究,采用Matlab进行代码实现。研究综合考虑了系统运行成本、碳排放、能源利用率等多个优化目标,通过建立精确的数学模型,结合可再生能源出力不确定性、负荷波动以及需求响应机制,实现多能源协同调度的帕累托最优解集求解,旨在提升能源系统的经济性与环保性,并验证所提方法的有效性和实用性。; 适合人群:具备一定电力系统、优化算法及Matlab编程基础的研究生、科研人员以及从事能源系统规划与运行相关工作的工程技术人员。; 使用场景及目标:①应用于多能源互补的综合能源系统优化调度研究;②为实现低碳、高效、可靠的能源供应提供决策支持;③学习和掌握NSGA-II算法在复杂多目标优化问题中的实际应用方法。; 阅读建议:建议读者结合Matlab代码与文中模型描述逐步理解算法实现流程,重点关注目标函数构建、约束处理及Pareto解集的生成与分析,有条件者可进一步修改参数或扩展模型以深化理解。

政府科技管理者在推动区域科技成果转化过程中,如何解决成果供需匹配效率低的问题?.docx

政府科技管理者在推动区域科技成果转化过程中,如何解决成果供需匹配效率低的问题?

16周全【Harness&Hermes】多智能体开发特训营

2026年的AI开发者圈子里,几乎没有人再怀疑多智能体的价值。Gartner预测年底40%的企业应用将内置智能体,LangChain、AutoGen、CrewAI等框架轮番登场,演示视频里的AI团队分工明确、配合流畅。然而,一个尴尬的现实是:大多数开发者手里跑通的多智能体项目,停留在Jupyter Notebook的最后一行。一旦试图把它塞进真实业务环境,问题便如潮水般涌来——长任务跑到一半崩了要重来,智能体之间的消息黑盒般不可追溯,换个场景就得推倒重写,上线之后连“刚才那次调用为什么花了三倍的钱”都查不出来。 这正是【Harness&Hermes】多智能体开发特训营试图回应的命题。它的切入点不在“再教你写一个Demo”,而在于一个更朴素却更稀缺的能力:让多智能体系统从演示玩具变成可交付、可运维、可演进的生产资产。 要理解这门课的价值,得先看清多智能体开发当前的断层在哪里。单Agent时代,提示词写得好、API调得通,基本就能交差。但多Agent协作的本质是编排:谁负责拆解需求,谁负责执行,谁负责校验,上下文如何在角色之间传递而不丢失,某个环节出错时整条链路如何回退。这些问题的难度不在模型能力,而在工程控制。市面上不缺讲LangGraph节点怎么连、RAG检索怎么做的教程,缺的是把“多个智能体在真实业务压力下稳定协作”这件事讲透的人。 Harness与Hermes的分工,恰好对应了工程控制的左右手。根据课程的设计逻辑,Harness管“流程”,Hermes管“记忆与进化”。Harness 负责长任务的流程治理:一个面试模拟流程跑了二十分钟,中途用户关掉页面,下次打开能不能接着上次的进度继续?某个Agent调用工具超时了,整条链路是崩溃还是优雅降级?线上出了问题,日志能不能精确到“第几轮对话、哪个Agent、调了什么工具、花了多少token”。这些听起来不性感,但任何一

国企央企如何实现技术成果的精准对接与快速落地?.docx

科易网基于行业知识库+行业大数据+科技资源要素+AI模型,以AI,赋能技术转移、成果转化、技术经理人培训、知识产权管理、区域产业分析与布局、地方科技招商、创新创业大赛等场景,推出科技创新领域的AI工具、场景化服务和数智化解决方案,推动科技创新与产业创新智能化发展。

用于计算系统状态的卡尔曼最优增益和最小均方误差(MMSE)估计研究(Matlab代码实现)

内容概要:本文围绕用于计算系统状态的卡尔曼最优增益和最小均方误差(MMSE)估计展开研究,深入探讨了卡尔曼滤波在动态系统状态估计中的核心作用。文章系统阐述了卡尔曼滤波的数学基础,包括状态空间模型的建立、先验与后验状态估计、协方差矩阵的递推更新,以及最优增益矩阵的推导过程,确保在高斯白噪声环境下实现对系统状态的最小均方误差估计。结合Matlab代码实现,完整展示了算法从理论建模到仿真实验的全流程,涵盖系统建模、噪声设置、滤波迭代、状态更新与误差分析等环节,并通过仿真实验验证了算法在噪声干扰下对系统真实状态的高精度跟踪能力。该研究为控制工程、导航系统、信号处理及自动化领域中的状态估计问题提供了坚实的理论依据与高效的数值实现方案。; 适合人群:具备一定控制理论、概率统计基础和Matlab编程能力,从事自动化、电子信息、航空航天、机器人、导航定位等相关领域的科研人员、工程技术人员及高校研究生。; 使用场景及目标:①掌握卡尔曼滤波的基本原理及其在状态估计中的数学推导过程;②学习如何利用Matlab实现卡尔曼滤波算法并进行系统仿真与性能评估;③应用于目标跟踪、传感器融合、惯性导航、故障诊断、时间序列预测等实际工程中的动态状态估计问题。; 阅读建议:建议读者结合文中提供的Matlab代码进行动手实践,通过调整系统模型参数、过程噪声与观测噪声强度,观察滤波效果的变化,深入理解卡尔曼增益的自适应调节机制与MMSE估计的收敛特性。同时可进一步拓展学习扩展卡尔曼滤波(EKF)、无迹卡尔曼滤波(UKF)等非线性滤波方法,以应对更复杂的非线性系统状态估计挑战。

产业园区运营负责人如何利用数据智能化提升科技资源配置效率?.docx

科易网基于行业知识库+行业大数据+科技资源要素+AI模型,以AI,赋能技术转移、成果转化、技术经理人培训、知识产权管理、区域产业分析与布局、地方科技招商、创新创业大赛等场景,推出科技创新领域的AI工具、场景化服务和数智化解决方案,推动科技创新与产业创新智能化发展。

高校技术转移办公室人员如何提升成果转化服务效率?.docx

科易网基于行业知识库+行业大数据+科技资源要素+AI模型,以AI,赋能技术转移、成果转化、技术经理人培训、知识产权管理、区域产业分析与布局、地方科技招商、创新创业大赛等场景,推出科技创新领域的AI工具、场景化服务和数智化解决方案,推动科技创新与产业创新智能化发展。

一种具有实验验证的层级扰动抑制深度跟踪控制算法,适用于欠驱动型AUV(Simulink仿真、Matlab代码)

内容概要:本文详细介绍了一种专为欠驱动型自主水下航行器(AUV)设计的层级扰动抑制深度跟踪控制算法,该算法通过构建分层控制架构,有效应对海洋环境中复杂的外部扰动(如水流、波浪等)以及系统内部的非线性动态特性,显著提升了AUV在执行深度跟踪任务时的控制精度与系统鲁棒性。研究不仅涵盖了控制策略的理论设计与稳定性分析,还包括详细的Simulink仿真模型搭建、Matlab代码实现及参数设置,并通过对比实验验证了所提方法在抗干扰能力和跟踪性能方面相较于传统控制算法的优越性。资源包内含完整的可运行代码、仿真模型和详尽的文档说明,便于研究者复现结果并在此基础上进行二次开发与创新。; 适合人群:具备自动控制理论基础、海洋工程或机器人相关学科背景,且熟练掌握Matlab/Simulink仿真环境的科研人员、研究生及高年级本科生。; 使用场景及目标:① 深入学习和研究欠驱动AUV的先进运动控制技术,特别是深度跟踪控制策略;② 开展水下机器人抗外部扰动控制算法的设计、仿真与性能验证工作;③ 作为毕业设计、科研项目或学术论文的技术支撑与代码原型,加速研究进程。; 阅读建议:建议使用者结合提供的Matlab代码与Simulink模型,逐模块理解算法的实现逻辑与数据流,推荐从简单静态环境仿真入手,逐步过渡到复杂动态扰动工况,通过调整控制器参数与扰动强度,全面掌握算法的性能边界、鲁棒性特征及优化潜力。

国央企创新负责人如何利用平台实现技术需求的精准挖掘与匹配?.docx

科易网基于行业知识库+行业大数据+科技资源要素+AI模型,以AI,赋能技术转移、成果转化、技术经理人培训、知识产权管理、区域产业分析与布局、地方科技招商、创新创业大赛等场景,推出科技创新领域的AI工具、场景化服务和数智化解决方案,推动科技创新与产业创新智能化发展。

自适应多机器人编队规划,以包围和跟踪具有运动和可见性约束的目标(Matlab代码实现)

内容概要:本文提出了一种自适应多机器人编队规划方法,旨在实现对具有运动能力和可见性约束目标的高效包围与持续跟踪,采用Matlab进行算法实现与仿真验证。该方法综合考虑了多机器人系统在动态环境中的协同控制、编队形态生成与保持、障碍物规避以及目标可见性维护等关键问题,通过设计分布式控制律使编队能够根据目标行为和环境变化自适应调整队形与运动轨迹,确保稳定包围并最大化目标观测质量。文中详细阐述了系统的数学建模过程、控制策略设计原理及约束处理机制,并提供了多场景下的仿真实验结果,验证了所提方法在复杂条件下的鲁棒性、灵活性与有效性。; 适合人群:具备自动化、机器人学、控制理论或人工智能等相关领域基础知识的科研人员及研究生,熟悉Matlab编程环境并致力于多智能体系统、协同控制、路径规划或智能无人系统研究的专业人士。; 使用场景及目标:①应用于多机器人系统在监视、围捕、搜救等任务中对移动目标的协同包围与跟踪控制;②为研究分布式编队控制、可见性优化、动态避障与多智能体协同决策等核心技术提供可复现的算法实例与理论支撑; 阅读建议:建议读者结合提供的Matlab代码逐模块分析算法实现细节,重点关注控制律设计、约束建模与仿真结果对比部分,宜在仿真环境中调整参数配置以深入理解系统性能边界与优化潜力。

国央企如何构建高效的内部技术转移与创新协同机制?.docx

科易网基于行业知识库+行业大数据+科技资源要素+AI模型,以AI,赋能技术转移、成果转化、技术经理人培训、知识产权管理、区域产业分析与布局、地方科技招商、创新创业大赛等场景,推出科技创新领域的AI工具、场景化服务和数智化解决方案,推动科技创新与产业创新智能化发展。

Fluent DPM模型保姆级教程:三通管颗粒流动模拟,从网格导入到轨迹图生成

本文提供Fluent DPM模型在三通管颗粒流动模拟中的保姆级教程,涵盖从网格导入到轨迹图生成的全流程。通过详细步骤和参数设置,帮助用户掌握DPM模型在颗粒流动模拟中的关键技巧,适用于化工、能源等领域的工程应用。

weixin_30615767的博客 582
上一篇: 超8成企业用AI却无商业回报,CEO亲自抓这三件事或破转型困局
下一篇: 估值90亿美元,Momenta上市背后:豪华股东阵容是靠山还是天花板?
IT界那些事儿
博客等级 码龄6年 2万+粉丝 22原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值