衡量AI真实科研能力！司南科学智能评测上线

原创 于 2025-12-18 18:04:47 发布 · 962 阅读 · 11 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #大模型评测 #多模态模型 #司南评测

随着人工智能与科学研究的深度融合，AI 驱动的科学发现正进入加速发展期。在这一背景下，如何科学、客观地衡量模型在真实科研场景中的能力，已成为推动 AI for Science 可持续发展的关键。

近日，司南（OpenCompass）官网正式上线科学智能评测版块，依托书生科学发现平台，构建面向多学科、多模态的科学智能评测，专注衡量大模型、智能体在核心科研能力上的真实水平，为科学智能提供可量化、可对比、可迭代的能力坐标。

图片

今年 7 月，由上海人工智能实验室打造的创新开放评测体系司南完成全面升级，评测范围从通用大模型扩展至 AI 计算系统、具身智能、安全可信与垂类行业应用五大方向。随着科学智能评测版块的正式上线，司南现已形成 “六位一体”的全景评估体系，打通从底层算力到上层智能、从通用能力到科研创新的全链路关键能力，为行业提供一站式、全景化的 AI 能力刻度。

科学智能评测司南官网链接：

https://opencompass.org.cn/Intern-Discovery-Eval

全流程闭环化的科学智能评测范式

科学智能评测聚焦多学科真实科研场景，构建覆盖科学发现全流程的闭环化评测机制，确保评测结果科学可信、可持续演进。

图片

  • 科学家深度参与：由领域科学家提供实验设定与任务源头，从评测设计阶段即对齐真实科研场景；

  • 多学科任务池：任务池覆盖天文、化学、物理、地球、材料、生命等多个学科，系统评估模型在不同科研领域中的能力表现；

  • 真实科研流程执行：大模型与智能体在真实科研任务中完成推理、决策与协作，完整呈现科学发现过程；

  • 指标评测 + 专家评审：通过客观指标量化模型在科研任务中的表现，并结合科学家打分，形成公开、可比的科学能力榜单；

  • 闭环反馈机制：评测结果持续回流至任务池与科研场景，推动任务设计优化与模型能力的迭代升级。

这一全流程、多学科、闭环化的评测范式，使科学智能能力真正实现可量化、可对比、可迭代，为 AI 驱动的科学发现提供科学、可信、可持续的评测支撑。

科学智能评测榜单：揭示模型真实科研能力

科学智能评测版块同步发布大语言模型科学能力榜单与多模态模型科学能力榜单，系统呈现模型在科研场景中的实际表现。

图片

大语言模型科学能力榜单旨在系统评估主流通用大语言模型在科学研究场景中的核心能力表现。

榜单聚焦模型在文本驱动的科学认知、推理与生成任务中的综合能力，覆盖从基础科学知识理解到高阶研究假设构建的完整链路，反映模型作为“通用科学智能体”的实际潜力。

从以下四个关键科学能力维度对模型进行评测：

  • 科学知识理解：评估模型对学科特定概念、事实与结构性知识的掌握程度，例如分子属性判断、专业概念辨析等。

  • 科学代码生成：考察模型将科学问题描述转化为可执行程序、算法流程或数据处理代码的能力。

  • 科学符号推理：聚焦模型对数学公式、物理定律、符号系统及结构化表达的推演与逻辑运算能力。

  • 科学假设生成：衡量模型在开放式科学问题中提出合理研究假设、解释路径与潜在研究方向的能力。

榜单中的总分为上述四个维度得分的平均分数，用于刻画模型在文本层面开展科学分析、推理与创新任务时的整体表现。

完整大语言模型科学能力榜单见：

https://opencompass.org.cn/Intern-Discovery-Eval/llm/scientific-capability

图片

多模态模型科学能力榜单面向视觉—语言大模型，重点评估模型在真实科研场景中对科学图像、图表与文本信息的联合理解与推理能力。榜单强调多模态输入条件下的科学感知与认知过程，反映模型在复杂科研资料中的实际应用价值。

围绕以下三个多模态科学能力维度展开评测：

  • 科学多模态感知：关注模型在图文输入中对关键科学实体的定位与识别能力，例如医学影像、实验装置或图中标注要素。

  • 科学多模态理解：评估模型对原始科学多模态数据的整体语义理解与严谨解释能力。

  • 科学多模态推理：考察模型在图像与文本联合条件下进行逻辑推理、因果分析与跨模态信息整合的能力，包含基于图像证据的多步推理过程。

榜单中的总分为三项多模态科学能力得分的平均分数，用于衡量模型在多模态协同科研任务中的整体科学智能水平。

完整多模态模型科学能力榜单见：

https://opencompass.org.cn/Intern-Discovery-Eval/mllm/scientific-capability

除此之外，科学智能评测版块还开源了首个面向科学通用智能的开源评测工具链 SciEvalKit。SciEvalKit 建立在专家级科学基准的基础之上，这些基准均源自真实世界的领域特定数据集，确保了任务反映真实的科学挑战，旨在跨越广泛的科学学科和任务能力来评估 AI 模型。技术报告将于近期发布，敬请期待。

SciEvalKit GitHub 链接：

https://github.com/InternScience/SciEvalKit

更多科学智能评测内容，欢迎访问司南官网。

https://opencompass.org.cn/Intern-Discovery-Eval

司南评测
关注
司南发布“以人为本”的大模型评测体系，认知科学驱动，更贴近人类需求
OpenCompass的博客
02-25 940
2月22日，2025GDC“浦江AI生态论坛”在上海徐汇举行。论坛现场，大模型开放评测平台司南正式发布“以人为本”（Human-Centric Eval）的大模型评测体系，系统评估大模型能力对人类社会的实际价值，为人工智能应用更贴近人类需求，提供可量化的人本评估标注司南团队突破性引入认知科学理论，秉持“以人为本”的核心精神，提出“解决问题能力、信息质量、交互体验”三维度的大模型主观评测体系。
司南MedBench3.0全面上新，4200次评测揭示医疗大模型能力长项与核心短板
OpenCompass的博客
03-21 1269
为将医疗大模型与主流领先模型横向对比，获取更直观指标参考，MedBench团队推出了“自建榜单”，评测GPT、Claude、Llama等国际主流模型在医疗场景下的能力水平，为医疗大模型参评机构提供对比依据和能力参照，加固医疗模型评测结果可信度。依托MedBench，实验室与中国软件评测中心正式启动医疗大模型基础能力评测服务，针对医疗大模型产品软件质量及性能开展评测，评测内容涵盖功能完备性、性能效率、通用基础能力、安全性、医疗伦理、知识掌握、临床实践等多方面，并接受定向应用场景评测。医疗大模型能力几何？
司南评测体系全新升级，“五位一体”评估全链路关键能力
OpenCompass的博客
07-21 959
面对通用人工智能技术持续突破与应用场景日益多元的趋势，升级后的司南评测体系构建了涵盖底层算力、通用模型、具身智能、安全可信与垂直行业在内的完整评测链条，致力于为行业提供统一、权威的技术评价标准，推动 AI 能力与实际需求紧密结合，助力通用人工智能在各领域实现安全、可信和高效的落地应用。在通用人工智能时代加速到来的背景下，专业、公正、开放的评测体系是确保人工智能安全、高效发展的关键环节，它不仅是技术发展的“试金石”，也是连接技术与应用、促进跨领域合作的重要桥梁。AI 模型的持续演进离不开底层计算力的支撑。
GPT-5卫冕榜首！工具调用能力成AI新战场丨大语言模型10月最新榜单揭晓
OpenCompass的博客
11-11 488
大模型技术在全球范围内持续演进，各大科技公司纷纷推出新一代模型，重点强化智能体方向的核心能力，包括编程、工具使用和深度信息检索等，无一不在提升实际问题解决能力。伴随着技术升级，越来越多能够解决实际问题的智能体正在涌现——它们能够自主规划任务、协同执行指令，在科研、编程、商业分析等领域展现出切实价值。与此同时，中国大模型在全球持续引人注目，在海外社区引发广泛讨论，展示出中国在大模型研发与应用方面的强劲实力。司南持续关注大模型的发展动态，近期针对国内外主流大语言模型进行了全面评测，现公布！
各有所长，国内外模型安全评估丨多个大模型安全榜单揭晓
OpenCompass的博客
11-13 1039
覆盖 96 个国内外主流大模型，涉及文本和多模态数据，包括 48 个海外模型（如 Claude-4、GPT-4o 等）、48 个国内模型（如 Qwen3、InternLM等），其中开源模型 75 个，闭源模型 21 个。大模型的在中文环境中的多维度合规性是其在我国广泛应用的关键基础，也是此次评测的重要维度。深层洞察：排名靠前的模型在各评测维度都有比较均衡的安全分数，而排名靠后的模型在社会经济风险维度的安全性较高，而对毒性输入的抵御能力较弱，这说明这些大模型在训练过程中对毒性输入的重视程度需要提高。
大模型评测介绍（步骤、数据集、工具平台）
Nilxj的博客
10-30 1044
在实际应用场景中测试模型，评估其“适配性”，避免“实验室表现好，落地用不了”的问题。小范围灰度测试：让部分真实用户使用模型（如内部员工、种子用户），收集反馈，例如“用模型辅助客服回复客户咨询，统计客户满意度、问题解决耗时是否提升”。长期性能监控：上线后跟踪模型的稳定性，例如是否出现突发的响应延迟、准确率下降，是否在特定场景（如高峰时段）出现故障。
OpenAI对咱中国“停服” ，国内各家大模型众志成城纷纷应对！谁能替代GPT-4o？国产大模型到底哪家强？
EnjoyEDU的博客
06-28 1568
在周二的凌晨时分，来自中国大陆以及全球多个国家和地区的API开发者们纷纷在社交媒体上发声，他们透露自己收到了一封来自OpenAI的电子邮件。邮件中提到，OpenAI将实施一些额外的措施，以限制那些不在公司支持列表上的地区使用其API服务。邮件截图在网络上广泛传播，其中OpenAI明确指出：“我们的数据分析显示，贵组织有部分API流量来自我们目前尚未支持的地区。自7月9日起，我们将采取进一步行动，禁止那些不在OpenAI支持区域列表中的API使用。”OpenAI在其发布的"支持访问国家和地区"列表中并未包括中
51c大模型~合集107
whaosoft~aiotの开发板商城
01-25 3185
我自己的原文哦~ https://blog.51cto.com/whaosoft/13140661“尺度定律”之下，大模型除了要突破算力瓶颈，亦面临高质量数据即将“见底”难题。如何通过“通专融合”技术路径实现通用人工智能，正日益成为业内共识。1月15日，上海人工智能实验室对书生大模型进行重要版本升级，书生·浦语3.0（InternLM3）通过精炼数据框架，大幅提升了数据效率，并实现思维密度的跃升。仅使用4T训练数据的InternLM3-8B-Instruct，其综合性能超过了同量级开源模型，节约训练
51c多模态~合集6
whaosoft~aiotの开发板商城
06-02 1479
（a）我们通过预处理和过滤原始视频构建交错视频数据，然后使用从大型 VLM 的有限输出中提炼出的小型 VLM 生成基于时间的字幕。（b）对于网络数据，基于 OmniCorpus [39] 进行构建，并执行两阶段主题选择，然后进行质量过滤和字幕生成，以生成结构化序列​。不同数据比例的损失曲线，消融实验在 1.5B LLM 上进行。​：生成数据采样比例优化至80%（vs理解数据20%），通过损失曲线分析确定最优混合比例（图5）。，使用分层学习率（生成任务lr=3e-5，理解任务lr=1e-5）缓解优化冲突。
51c视觉~OCR~合集1
whaosoft~aiotの开发板商城
05-25 2562
Surya 是多语言文档 OCR 工具包，可进行准确的文本行检测，目前支持 90 多种语言，以及即将推出表格和图表检测功能。开源地址：https://github.com/VikParuchuri/surya。
6月前沿评测集一网打尽！多模态、智能体、代码领域全覆盖
OpenCompass的博客
07-04 1192
MVPBench 专注于视觉物理推理中的视觉链式思维（CoT）能力评估。它特别关注模型能否像人类一样，依据图片一步步进行逻辑推理，而不是依赖文字提示直接得出结论。
视频生成模型权威评测基准VBench上线司南评测集社区
OpenCompass的博客
02-27 1771
VBench 不仅包含了 16 个分层和解耦的评测维度，确保了评估的全面性和细致度，还通过贴近人类感知的评测方法，提高了评估结果的真实性和可靠性。最新发布的 VBench++ 支持更广泛的视频生成任务，包括文本生成视频和图像生成视频，并配有一套自适应的图像套件，以便在不同的设置下进行公平评估。，榜单内容多次被知名视频模型厂商、头部科技媒体引用，能否在 VBench 榜单上名列前茅，已成为衡量视频生成模型性能的重要参考标准，深刻影响着行业的技术发展方向和产品研发策略。VBench 榜单目前已经成为。
T-Eval：大模型智能体能力评测基准解读 | ACL 2024
OpenCompass的博客
07-29 4083
AI Agent（智能体）作为大模型的重要应用模式，能够通过使用外部工具来执行复杂任务，完成多步骤的工作流程。为了更全面地评估模型的工具使用能力，司南及合作伙伴团队推出了T-Eval评测基准，相关成果论文已被ACL 2024主会录用。
大模型学习基础（五） 强化学习（Reinforcement Learning，RL）初步
qq_56095294的博客
12-13 372
前面的文章简单介绍过，传统的监督学习所使用的数据集是（特征，标签），有“标签”即明确的知晓正确的输出应该是什么。而实际的情况是，环境的状态S是由多个Si构成的，每训练一组S-a即训练一个多分类问题，把这些问题的损失函数（交叉熵）加在一起，即可训练出在不同的状态下应该使用什么动作。模型在选择一个动作之后，这个动作实际是对Environment发生，相应的Environment会给模型一个回馈Reward，然后再给模型一个新的Observation，模型继续选择新的动作，循环此过程。
以太联的自愈功能与看门狗机制解析
suzhou_speeder的博客
12-15 1117
看门狗(Watchdog)是一种硬件或软件实现的定时器机制，其核心功能是监控系统或程序的运行状态，防止程序跑飞或陷入死循环。案例：车载以太网交换机通过硬件看门狗实时监测链路状态，若检测到链路中断(如3ms内未收到心跳包)，立即启用备用路径，确保刹车、转向等关键系统永不掉线。案例：某智能工厂的PLC(可编程逻辑控制器)采用软件看门狗，若主程序因干扰死机，看门狗机制自动重启PLC，恢复生产流程。三者协同工作，实现“设备-交换机-网络”三级自愈，显著提升网络可靠性、降低运维成本，并为企业数字化转型提供坚实基础。
数据分析Agent白皮书：揭秘Data x AI的底层逻辑与未来关键
最新发布
LyAGent的博客
12-18 352
《2025数据分析Agent白皮书》指出，数据分析Agent正成为AI落地的核心形态，实现从"人人分析"到"人人消费"的转变。白皮书系统解析了其技术架构（包括Query/Document/DeepAnalyze三大Agent能力）、行业实践（能源/制造/零售等领域）及落地路径，强调需突破数据准度、分析深度与消费广度三大挑战。未来，数据分析Agent将深度融入业务流程，推动"洞察即行动"的自动化决策模式。该技术有望彻底改变企业数据消费方式，使数据智能
多模态赋能情绪理解：Qwen3-VL+LLaMA-Factory 的人脸情绪识别实战
Lab4AI的博客
12-17 563
本项目依托Lab4AI平台，基于LLaMA-Factory成功对Qwen3-VL进行了完整的微调流程。我们将传统的人脸情绪识别任务与多模态大语言模型（MLLM）相结合，探索了MLLM在视觉情绪理解中的应用。通过微调Qwen3-VL，我们成功将传统的分类任务转化为多模态推理任务，显著提升了模型在复杂场景下的鲁棒性和准确率。这一方案不仅在人脸情绪识别上取得了显著提升，还为其他视觉任务的多模态大模型应用提供了新的思路，具有广泛的应用前景。
Transformer架构的原理是什么？
SACKings的博客
12-15 725
对于“Thinking”这个词，它的输出向量可能包含了90%它自己的信息和10%“Machines”的信息。而对于“Machines”，它的输出可能包含了70%它自己的信息和30%“Thinking”的信息。Transformer 架构的原理是理解现代大模型（如 GPT、BERT、T5 等）的基石。正是因为这些原理上的优势，Transformer才取代了RNN和CNN，成为了当今AI大模型时代的统治性架构。的（打乱输入顺序，输出可能不变），它没有内置的位置概念。Q·K 然后Softmax。
AIDD-人工智能药物设计-扩散模型热力学：从 AI 提取物理能量
itwangyang520的博客
12-14 1141
扩散模型的核心是加噪与去噪。这对业界的启示是，要实现精准医疗，特别是针对耐药突变的药物设计，不能仅依赖大语言模型（Large Language Model, LLM）处理序列。他们从文献和数据库中挖掘了过去被忽略的细节：氨基酸的替换、插入、缺失，以及关键的磷酸化修饰，最终整理出 4032 对新的激酶 - 配体数据。GeneGPT 曾展示了大语言模型（LLM）在生物医药领域的潜力，而 OpenBioLLM 提出了不同于 GeneGPT 单体（Monolithic）架构的方案：组建由「专家」构成的团队。
司南ai引擎
03-08
<think>好的，用户想了解司南AI引擎的使用指南和功能介绍。首先，我需要确认用户提到的“司南AI引擎”是否在提供的参考资料中被提及。快速浏览引用内容，发现三个引用分别讨论了快速排序、Lagent框架中的Agent使用，以及OpenCompass的评测体系。但并没有直接提到“司南AI引擎”。 接下来，我需要考虑用户可能的问题来源。可能用户混淆了名称，或者司南AI引擎是某个特定平台或项目的内部工具，而相关资料中未明确提到。在这种情况下，应基于现有资料中的相关信息，尽量提供有用的指导，同时说明当前信息不足的情况。 根据引用[1]，提到了大模型的应用架构和技术架构，可能司南AI引擎属于类似的大模型应用框架。引用[2]中的Lagent框架集成了多种工具和API，可能司南AI引擎也有类似的功能，如调用外部API或集成工具。引用[3]中的OpenCompass用于评估模型能力，可能司南AI引擎涉及模型评测方面的功能。 用户可能需要知道如何开始使用司南AI引擎，包括安装、配置、核心功能（如模型训练、部署、评测）以及应用场景。但因为没有具体资料，需要建议用户查阅官方文档或联系支持团队，同时提供基于现有知识的通用指南，例如大模型应用的一般步骤和工具集成方法。 最后，生成相关问题时，应围绕用户可能进一步想知道的内容，如安装步骤、核心模块、应用案例、技术支持等，引导用户更深入地探索。</think>关于司南AI引擎的具体信息，当前提供的参考资料中未直接提及相关内容[^1][^2][^3]。根据现有信息推测，司南AI引擎可能是面向大模型开发和应用的技术框架，可能具备以下通用功能： 1. **核心能力** - 支持大模型训练、微调与部署 - 提供Prompt工程模板和指令调优工具 - 集成RAG（检索增强生成）等增强技术 2. **使用流程（通用参考）** ```python # 示例代码结构（非真实API） from sunai_engine import ModelLoader # 初始化引擎 engine = ModelLoader(api_key="your_key") # 加载预训练模型 model = engine.load_model("gpt-3.5-turbo") # 执行推理 response = model.generate(prompt="解释量子计算原理", temperature=0.7) ``` 3. **技术架构（推测）** - 前端交互层：支持Web/API调用 - 核心处理层：包含知识库管理、提示工程、安全过滤等模块 - 底层支持：分布式计算框架、GPU加速等 建议通过以下途径获取准确信息： 1. 访问官方文档站点的「快速开始」指南 2. 查看GitHub仓库的/examples目录 3. 加入开发者社区的「技术支持」频道
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值