SuperGPQA: 突破285个学科边界的AI评测新范式-探索大语言模型的真实能力边界

【AI大模型评测】基准测试 【多模态LLM】MMMU:面向专家通用人工智能的大规模跨学科多模态理解和推理基准 - 知乎 (zhihu.com)精心收集了来自大学考试、测验和教科书的11.5K个多模态问题跨越艺术与设计、商业、科学、健康医学、人文社会科学、技术工程等30个学科和183个子领域包含30种异构的图像类型,如图表、图示、地图、表格、乐谱和化学结构式关注特定领域知识的高级感知和推理MMMU基准对现有大语言模型是一个巨大的挑战:#GPT4V的准确率只有56%,显示了言语模型进一步发展的广阔前景。 阅读详情

论文链接:https://arxiv.org/pdf/2502.14739

数据集:https://huggingface.co/datasets/m-a-p/SuperGPQA

项目主页:https://supergpqa.github.io/

   

在人工智能快速发展的浪潮中,准确评估AI模型的能力已成为产业发展的关键课题。在探索AI能力边界的道路上,研究者们深刻认识到现有评测体系的局限性。这促使研究学者们与行业顶尖研究机构展开合作,共同突破AI评测的固有范式。在这样的背景下,具有里程碑意义的 SuperGPQA 项目应运而生。

    

 

2025_NIPS_SuperGPQA: Scaling LLM Evaluation across 285 Graduate Disciplines 大型语言模型(LLMs)在数学、物理、计算机科学等主流学术领域已展现出卓越能力。然而,人类知识涵盖200多个专业学科,远超现有基准的覆盖范围。LLMs在许多专业领域——尤其是轻工业、农业和服务导向型学科——的能力尚未得到充分评估。为填补这一空白,我们提出SuperGPQA,这一全面基准可评估285个学科的研究生水平知识与推理能力。该基准采用创新的人机协同过滤机制,基于LLM响应和专家反馈进行迭代优化,剔除琐碎或模糊的题目。 阅读详情

相关推荐

2篇1章1节:字节跳动打造的国产AI助手,豆包

豆包的迅速崛起,不仅是字节跳动在AI领域技术与生态协同能力的集中体现,更折射出国内大模型正逐步从“技术试验”走向“场景赋能”的成熟路径。在竞争激烈的全球AI赛道中,豆包凭借其多模态能力、低成本部署、丰富产品形态及广泛生态协同,成为国产AI产品国际化潜力的代表。当然,隐私保护、合规使用、海外政策壁垒等问题仍是其不得不面对的现实挑战。

MD Code 2517

飞书日历同步Outlook翻车?我踩过的坑和最终用Google Calendar成功的完整配置记录

本文详细记录了从Outlook日历同步到飞书时遇到的常见问题及解决方案,特别是通过Google Calendar实现稳定同步的完整配置流程。文章揭示了Outlook同步方案易翻车的原因,并提供了Google Calendar的避坑指南、高级技巧和企业级部署建议,帮助用户高效实现日历同步。

weixin_33724046的博客 313

基于Python爬虫的新闻热点分析与挖掘

本文介绍了基于Python爬虫的新闻热点分析与挖掘方法,主要包括数据收集、预处理、热点分析和可视化四个部分。首先通过爬虫抓取新浪新闻数据,利用文本清洗和存储技术进行数据预处理;接着采用TF-IDF和LDA算法进行关键词提取与主题建模;最后通过词云图和主题分布图实现数据可视化。该方法能有效识别新闻热点,为信息筛选和决策提供支持。

专注于Python爬虫开发,分享爬虫技巧、项目实战与反爬经验,使用Scrapy、BeautifulSoup等工具,解决数据抓取难题。 1545

科研绘图(二):R 语言实现小鼠脑图谱 3D 渲染,附完整代码与数据获取指南

在生物医学科研中,脑区的 3D 可视化是呈现实验结果、解析脑结构功能的重要手段。R 语言凭借rgl和Rvcg等工具包,可高效实现小鼠全脑及特定脑区(如 CA1 区)的立体渲染,且代码可复用性强。本文将从环境搭建、数据准备、代码实现到结果导出,手把手带你完成小鼠脑图谱 3D 绘图,小白也能快速上手!

good_rrrrr的博客 2023

实战避坑:基恩士KV8000 PLC与C#上位机链路通讯全流程实现(含ST代码+上位机源码)

本文详细讲解了基恩士KV8000 PLC与C#上位机的TCP链路通讯实现,从PLC端的ST代码编写、通讯配置,到上位机的通讯类封装、界面实现,再到实战避坑和性能优化,提供了完整的可复用方案。该方案已在实际产线项目中验证,支持实时数据采集和控制指令下发,稳定性和可靠性满足工业场景需求。

这里只有干货:从 Modbus 通信到 MES 对接,从 YOLO 训练到工控机部署,带你搞定工业软件开发全流程。 1176

南方电网专业面试题(电气类-继电保护)(目录)

南方电网专业面试题(电气类-继电保护)(目录) 这些面试题围绕继电保护的基本概念、工作原理、分类、性能要求,以及变压器、断路器、母线保护、自动重合闸等电力系统关键设备的保护机制和操作原则展开,旨在评估应聘者对电力系统保护和控制策略的深入理解和实际应用能力。

weixin_44808274的博客 2159

海洋捕食者算法(MPA)详解:从海洋生态智慧到高性能优化

摘要: 海洋捕食者算法(MPA)是一种基于海洋生态觅食行为的元启发式优化算法,模拟捕食者(如鲨鱼)的布朗运动和莱维飞行策略进行全局与局部搜索。算法分为三阶段:高速比阶段(全局探索)、单位速度比阶段(平衡搜索)和低速比阶段(局部开发),通过精英矩阵和FADs效应(概率扰动)避免早熟收敛。MPA具有参数少、收敛快、寻优能力强等特点,适用于复杂优化问题,其数学模型将生物行为转化为随机游走与自适应策略,并通过收敛因子动态调整探索-开发平衡。实验表明,MPA在多个基准问题上表现优异。

qq_42212808的博客 273

Qt c++ llama.cpp 运行 LLaMA-3-8B 中文对话机器人(多模态输入)

助手:

寒寒豆豆软件公司的博客 220

Sigrity System SI Parallel Bus Analysis模式进行DDR3仿真分析操作指导-单个颗粒

Default Strobe Offset:DQS默认偏移时间,自动填充为0.5ns,即DQS默认偏移1/2UI,DQS滞后于DQ 1/2UI,让建立保持时间均分。WLO:写平衡偏移的数值,DataL是0ps,DataU是500ps,是根据WLOSkew自动定义的,可以认为是WLOSkew取整,也可以根据需要手动调整数值。注意AddCmd的UI=T,这里的Data Rate仍然是DQ的速率,并不是地址线的速率,地址线的速率=1/UI=1/2ns=0.5Gbps。

weixin_54787054的博客 366

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

SIMATIC S7-1200, S7-1500 PID 控制[手册]

SIMATIC S7-1200, S7-1500 PID 控制[手册]

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

上一篇: 最全具身智能数据集分享系列 | 全球有哪些高质量具身智能数据集(附下载链接)
下一篇: 自动驾驶数据革命:半自动Occupancy标注如何定义3D感知新时代
整数智能
博客等级 码龄2年 215粉丝 19原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值