AI评测趋势一站速览，司南Daily Benchmark专区上线！

最新推荐文章于 2025-11-30 18:24:05 发布
原创 最新推荐文章于 2025-11-30 18:24:05 发布 · 333 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #大模型评测 #大模型测评 #司南评测 #评测集

作为司南评测体系的重要组成部分，司南评测集社区 CompassHub 致力于打造创新性的基准测试资源导航社区，提供丰富、及时、专业的评测集信息，让研究者与开发者轻松查找、分享与使用各类基准，共同探索 AI 技术的真实能力边界。

Daily Benchmark 专区全新上线

AI 评测发展日新月异，新的论文与基准层出不穷。 为了让大家第一时间掌握 AI 评测最新趋势，司南评测集社区全新推出 「Daily Benchmark」专区，带你直观了解最新 AI 评测论文，洞悉模型能力演进趋势。

直达链接：

https://hub.opencompass.org.cn/daily-benchmark-list

图片

图片

AI 智能解读，轻松掌握核心内容

每篇收录的论文都支持 AI 自动解读，并提供 中英文双语版本。无论您是专业人员还是行业爱好者，都能高效获取关键信息，在最短时间内了解论文核心内容。

图片

让优秀的评测工作被更多人看

「Daily Benchmark」专区同步开放提交论文功能，你可以上传自己完成的评测相关论文，或分享你感兴趣的最新评测工作，与更多同行分享见解、交流观点。让优秀评测工作不再被埋没，让好的研究成果被更多人看到。

图片

无论你是想追踪全球 AI 评测趋势的研究者，还是希望验证模型真实能力的开发者，司南评测集社区都将成为你的得力助手。即刻访问全新上线的 Daily Benchmark 专区，实时掌握 AI 评测前沿！

直达链接：

https://hub.opencompass.org.cn/daily-benchmark-list

司南MedBench3.0全面上新，4200次评测揭示医疗大模型能力长项与核心短板
OpenCompass的博客
03-21 1244
为将医疗大模型与主流领先模型横向对比，获取更直观指标参考，MedBench团队推出了“自建榜单”，评测GPT、Claude、Llama等国际主流模型在医疗场景下的能力水平，为医疗大模型参评机构提供对比依据和能力参照，加固医疗模型评测结果可信度。依托MedBench，实验室与中国软件评测中心正式启动医疗大模型基础能力评测服务，针对医疗大模型产品软件质量及性能开展评测，评测内容涵盖功能完备性、性能效率、通用基础能力、安全性、医疗伦理、知识掌握、临床实践等多方面，并接受定向应用场景评测。医疗大模型能力几何？
AI大模型系列：OpenCompass（司南）大模型测评工具介绍和实践
pythonhy的博客
01-17 3852
OpenCompass是一个一站式的大模型评估平台，旨在为大模型评估提供一个公平、开放和可复制的基准。它不仅量化了模型在知识、语言、理解、推理等方面的能力，还推动了模型的迭代和优化。
断层式领先！Gemini 3.0全方位评测新鲜出炉
OpenCompass的博客
11-27 271
近期，谷歌发布了新一代大模型Gemini 3.0，被视为谷歌重回AI第一阵营的关键里程碑。通用基准方面，Gemini-3-Pro-Preview在MMLU-Pro、GPQA-Diamond、MathVision、MMStar等多个基准上的表现显著领先其他模型，展现出了超越现有标杆的通用认知与推理能力。司南OpenCompass对Gemini-3-Pro-Preview的通用文本能力、学科专业文本能力、通用多模态能力、学科专业多模态能力进行了评测，具体结果如下图所示。每日更新最新 AI 评测方向论文。
每日 AI 评测速递来啦（11.20）
OpenCompass的博客
11-20 149
一个以能力为核心构建的多模态推理评测套件，从多个主流基准（如 BLINK、TIR-Bench、MathVerse、MathVista 等）重新采样并整合数据，并基于六大能力维度对实例进行标注，同时补充视觉导航等交互场景。它为模型提供统一、可比的能力评估视角，可用于系统分析多模态推理模型在不同任务中的能力调度与协同表现。一个用于系统评估视频模型推理能力的综合基准。一个面向学术场景动态钓鱼攻击的统一框架与基准套件，用于系统性评估 MLLM 的防御能力。司南·Daily Benchmark 专区今日上新！
每日 AI 评测速递来啦（11.21）
OpenCompass的博客
11-21 148
一个大规模、系统化评测大语言模型“撒谎”行为的基准测试平台，包含超 7 万条来自多模型、多数据集的诚实与撒谎示例，覆盖不同类型的撒谎动机和目标信念。一个面向地理空间基础模型（GeoFMs）的综合评估基准，涵盖分类、分割、回归、目标检测和实例分割等任务，使用 19 个许可宽松的数据集进行测试。首个用于评估具身智能体间接越狱能力的基准，包含 1,632 条良性指令和 3,957 条恶意指令，覆盖了广泛的任务复杂度与攻击情景。司南·Daily Benchmark 专区今日上新！
视频模型能否通过生成过程实现推理？首个基于迷宫求解任务的系统评估！
OpenCompass的博客
11-26 649
实验结果表明，经过微调的视频模型在空间推理方面表现出强大的能力，并且在各项指标上持续超越领先的视觉语言模型（VLMs）。为全面评估视频模型的推理能力，研究团队在 VR-Bench 上进行了系统实验，评测了多种最新的商用与开源视频生成模型。大规模实验表明，基于视频的推理在复杂任务上优于基于文本的推理（如 VLM），尤其在迷宫类型、视觉风格及难度变化等分布偏移下表现更强。此外，研究团队在 VR-Bench 上对开源视频模型 Wan2.2-TI2V-5B 进行了微调，以研究其在推理任务上的泛化能力。
每日 AI 评测速递来啦（11.18）
OpenCompass的博客
11-18 387
一个面向法律与金融领域的开放性、高难度专业推理基准，包含 1,100 个专家撰写的任务和 19,356 条评分标准，由 182 名资深专业人士贡献。一个综合性基准，旨在探索和评估 LMMs 在跨视角地理定位和位姿估计中的能力，包含 10,859 对全景-卫星图像，覆盖 49 个国家的 128 个城市，并配备 755,976 对问答数据。用于评估面向服务的助手在长期用户交互中的个性化能力，创新性地设置了需求重述、方案推荐和多轮对话三大任务，全面评估系统对用户偏好和主观需求的建模能力。数据集来源于 70 篇。
每日 AI 评测速递来啦（11.25）
OpenCompass的博客
11-25 420
一个专门为评估多模态大语言模型在具身智能任务中精细动作能力而设计的新基准，包含 1,368 个精心挑选的视频和 19,562 个三模态问答对，覆盖物理交互、时序因果关系、意图理解和评估判断四大认知维度。一个专为评估文本驱动图像编辑效果而设计的基准套件，收录了多样的源图像、丰富的编辑提示及不同方法生成的编辑结果，并提供近 4,000 个样本的人类平均意见分。面向化学领域的多模态推理基准，旨在评估多模态大语言模型的视觉-文本-符号推理能力。司南·Daily Benchmark 专区今日上新！
每日 AI 评测速递来啦（11.17）
OpenCompass的博客
11-17 264
通过对 28 个专有与开源 MLLM 的测试，VP-Bench 分析了影响视觉提示理解的关键因素，如属性变化、问题排列和模型规模，为研究 MLLMs 如何理解和解决基于视觉定位的指代问题提供了新的参考框架。通过在专家混合模型与稠密模型上进行微调实验，结果显示微调后的模型在超过 75% 的任务上显著优于基础模型。面向多模态大模型的内容安全评测套件，涵盖四种模态、九类风险的大规模双语数据集，并提出用于评估交叉风险的 MCRS 指标以及基于多模型评审的 FairScore 框架。
每日 AI 评测速递来啦（11.26）
OpenCompass的博客
11-26 242
一个面向以人为中心的开放未来任务发现研究的基准数据集，旨在评估模型在复杂、动态的人类场景中自主发现任务的能力。该基准包含超过 2000 条真实世界视频，并配备半自动化标注流程。系统评估多智能体框架在端到端气候数据分析中的能力，包含 85 个真实世界任务，覆盖大气河流、干旱、极端降水、热浪、海表温度和热带气旋等多个关键气候领域。首个针对多模态大型语言模型（MLLMs）的选择性遗忘评测基准，旨在系统评估模型在移除敏感知识的同时保持通用视觉理解能力的表现。司南·Daily Benchmark 专区今日上新！
司南，斯甚难！品观首款国产量子计算机操作系统发布
Qtumist的博客
02-08 555
2月8日晚8时，本源量子发布首款量子计算机操作系统——本源司南。产品可实现量子资源系统化管理、量子计算任务并行化执行、量子芯片自动化校准等新功能，目的是助力量子计算机能高效稳定运行。 考虑到量子计算机的发展始终处于早期阶段，大量使用量子芯片，则需要独立的系统来调度，以达到优化和高效使用的作用。他国在此之前也投入了大量研究，开发所谓的“量子操作系统”。   1.资源稀缺，高效利用 量子计算机是第二次量子技术革命的产物，一台足够强大的量子计算机甚至能超越全球经典计算机的算力总和。随着谷歌、IBM、英特
InternLM 基础岛 - OpenCompass 司南评测
dilvx的博客
09-20 1026
OpenCompass 按模型的类型进行评测，对基座模型和对话模型采用不同的评测方式；或通过加载模型文件 (pth, hf) 评测。在长文本中随机位置插入一个与语料无关的语句，考察模型能否记住长文本中的信息。（笔者问：似乎在诱导模型更关注奇异的语料）在 OpenCompass 中评估一个模型通常包括以下几个阶段：配置 -> 推理 -> 评估 -> 可视化。客观评价只要回答出来了正确的答案即可；主观评测需要模型/人工介入打分（e.g. 问 GPT：给两首诗打分）提供了榜单，投票社区，评测工具。
6月前沿评测集一网打尽！多模态、智能体、代码领域全覆盖
OpenCompass的博客
07-04 1164
MVPBench 专注于视觉物理推理中的视觉链式思维（CoT）能力评估。它特别关注模型能否像人类一样，依据图片一步步进行逻辑推理，而不是依赖文字提示直接得出结论。
第七节课《OpenCompass司南--大模型评测实战》
fanre的专栏
05-06 1255
评测 InternLM2-Chat-1.8B 模型在 C-Eval 数据集上的性能。OpenCompass 默认并行启动评估过程。--debug 模式启动评估，并检查是否存在问题。自定义任意模型和数据集，多模型和数据集进行切分，做到并行化（多GPU或任务），多种输出方式。做提示词工程，丰富题目，给模型做推理，然后做评测，评测结果更加真实反映模型性能。列出所有跟 InternLM 及 C-Eval 相关的配置。
【推荐系统】深度学习训练框架（五）：pyspark分布式TorchDistributor主从读取OSS文件认证机制
人工智能领域博客
11-28 1824
摘要： 本文详细解释了Spark Driver端与Worker端在OSS认证上的核心区别。Driver端通过Spark配置自动认证，而Worker端（独立Python进程）需显式提供认证信息。认证来源优先级为：1)Driver传递参数，2)环境变量，3)IAM角色。文章分析了架构差异导致的不同认证方式，并推荐从Driver传递认证信息的解决方案。当前实现已采用该方案，通过Spark配置或环境变量获取认证后传递给Worker进程，确保PyArrow能正确访问OSS数据。
信息检索13
2301_80828873的博客
11-26 2181
最近邻检索的方法，PQ，IVF,HNSW
向量嵌入：RAG系统背后的语义引擎
uncle_ll的博客
11-29 1171
向量嵌入技术将高维语义信息压缩为低维向量，使相似概念在向量空间中聚集。作为RAG系统的核心，嵌入质量直接影响语义检索效果。从静态词嵌入到动态上下文嵌入，技术不断演进，解决了多义词等难题。现代嵌入模型基于Transformer架构，通过对比学习优化检索性能。选型需考虑MTEB排名、语言支持等维度，并结合业务测试。未来趋势包括多模态融合、知识图谱增强和轻量化部署。嵌入技术已成为NLP领域的关键支柱，其优化对提升RAG系统性能至关重要。
07_Spring AI 干货笔记之提示词
最新发布
在科技的浪潮中，我们寻找着创新的火种，在代码的海洋里，我们编织着智慧的网。腾飞开源，就是这样一个由技术精英汇聚而成的博客平台，我们致力于分享在Java、Python、IoT和人工智能等领域的最新研究成果和实战经验。 在腾飞开源的博客上，你会看到紧跟技术前
11-30 887
本文详细介绍了Spring AI中的提示词核心概念与API设计。提示词作为引导AI模型生成特定输出的关键输入，其结构从简单字符串演进为包含多角色消息的复杂形式。Spring AI通过Prompt和Message接口提供结构化提示词管理，支持系统、用户、助手等角色分配。PromptTemplate类实现动态内容渲染，并支持自定义模板引擎。文章还涵盖提示词工程的最佳实践与令牌机制，为开发者提供完整的提示词设计解决方案。
RAG信息检索全解析：从Embedding到Reranker的超详细教程1
Trb201013的博客
11-27 1397
文章介绍了RAG系统中信息检索环节的核心技术，包括文档段落嵌入和用户查询嵌入，将文本转换为向量表示；详细解释了相似度检索的多种方法，如Top-K检索、MMR策略和Reranker二次排序技术；强调了合理切分策略对嵌入效果的重要性，以及查询扩展技术对提高检索准确度的作用。指出RAG的本质是"开卷考试"，检索质量直接影响最终生成效果。
司南ai引擎
03-08
好的，用户想了解司南AI引擎的使用指南和功能介绍。首先，我需要确认用户提到的“司南AI引擎”是否在提供的参考资料中被提及。快速浏览引用内容，发现三个引用分别讨论了快速排序、Lagent框架中的Agent使用，以及...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值