【笔记】OpenCompass 大模型评测

最新推荐文章于 2025-11-24 20:52:15 发布

原创最新推荐文章于 2025-11-24 20:52:15 发布 · 367 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#笔记

本文探讨了在OpenCompass大模型背景下进行评测的必要性，明确了评测的关键点包括模型特性、流程设计、主观评价指标以及面临的多模态和垂直领域挑战。

OpenCompass 大模型评测

为什么需要评测
我们需要评测什么
如何评测
评测流水线
挑战

为什么需要评测

在这里插入图片描述

我们需要评测什么

在这里插入图片描述

如何评测

在这里插入图片描述

主观评测
在这里插入图片描述
提示词工程

评测流水线

在这里插入图片描述
还有多模态、垂直领域

挑战

在这里插入图片描述

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

芷詩

关注关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

第六课笔记 OpenCompass 大模型评测

weixin_42035282的博客

02-20

1471

本算法库的主要评测对象为语言大模型与多模态大模型。我们以语言大模型为例介绍评测的具体模型类型。基座模型：一般是经过海量的文本数据以自监督学习的方式进行训练获得的模型（如OpenAI的GPT-3，Meta的LLaMA），往往具有强大的文字续写能力。对话模型：一般是在的基座模型的基础上，经过指令微调或人类偏好对齐获得的模型（如OpenAI的ChatGPT、上海人工智能实验室的书生·浦语），能理解人类指令，具有较强的对话能力。

OpenCompass 大模型评测实战——笔记

YYYYbhjbhkv_的博客

04-24

1570

海量语料不可避免带来评测集污染，比如有的模型，它是在测试集上做的训练，这就会导致后面测试分数虚高，但他们也不公布自己训练的数据集，所以别人就不知道，或者测试集和训练集有大量重叠部分，也相当于作弊或者自欺欺人，所以亟需可靠的数据污染检测技术，那如何设计可动态更新的高质量评测基准，也是个问题。既然要评测，那就是要尽可能在一个相对准备充足的条件下对模型进行评测，但很多时候，因为提问者的问题提问的不够清楚，导致模型的回答也相对较差，那这就体现不出模型的能力，所以肯定是要在能体现模型能力的基础上再进行评测。

1 条评论您还未登录，请先登录后发表或查看评论

第七课课程笔记 OpenCompass大模型评测

weixin_44555688的博客

04-21

553

根据模型的类别，然后设定不同的评测方法。根据评测方式，划分为客观评测和主观评测。OpenCompass评测流水线。

第六节笔记 OpenCompass大模型评测

tuyihan的博客

02-18

295

OpenCompass 大模型评测实战笔记

m0_65989999的博客

04-24

395

它从语言、知识、理解、推理、安全等多个能力维度进行评测，并采用客观评测与主观评测相结合的方法。该评测体系的主要特点包括开源可复现、全面的能力维度评估、丰富的模型支持、分布式高效评测、多样化的评测范式和灵活的拓展性。此外，OpenCompass提供了丰富的工具层支持，包括分布式评测技术、提示词工程、评测数据库对接、评测榜单发布和评测报告生成等功能。总的来说，OpenCompass是一个功能全面、使用灵活的大模型评测工具，对于研究人员和产品开发者来说，它提供了一个有效的平台来评估和选择适合的大型语言模型。

第七课 OpenCompass 大模型评测实战笔记及作业

wudiyjnewway的博客

06-14

1175

OpenCompass 大模型评测实战笔记及作业

OpenCompass大模型测评实战学习笔记

Moo_n_earth的博客

06-07

872

评测意义：研究评测对于我们全面了解大型语言模型的优势和限制至关重要；研究评测有助于指导和改进人类与大型语言模型之间的协同交互；研究评测可以帮助我们更好地规划大型语言模型未来的发展；评测能了解不同语言模型之间的性能、舒适性和安全性，能够帮助人们更好地选择适合的模型。如何通过评测促进模型发展：评测中的面临挑战：如何评测：按模型类别不同划分评测：基座模型、公开权重的开源模型、对话模型、API模型按评测方式：客观评测与主观评测提示词工程将题目变得更加丰富，然后再进行推理或者评测。

OpenCompass大模型评测实战第七课

weixin_62638966的博客

06-16

1300

1、OpenCompass 亮点开源与复现：提供公平、公开、可复现的评测方案。全面的能力维度：五大维度设计，提供70+个数据集约40万题的模型评测方案。模型支持：已支持20+ HuggingFace 及 API 模型。分布式高效评测：一行命令实现任务分割和分布式评测，快速完成模型全量评测。多样化评测范式：支持零样本、小样本及思维链评测，结合标准型或对话型提示词模板。灵活化拓展：轻松增加新模型、数据集或自定义高级任务分割策略。2、CompassKit：大模型评测全栈工具链。

[第六课笔记]OpenCompass 大模型评测

weixin_38771145的博客

02-21

1502

【OpenCompass 大模型评测——笔记】

YYYYbhjbhkv_的博客

01-26

3049

【InternLM 实战营第二期笔记+作业07】OpenCompass 大模型评测实战

zzzibo的博客

06-02

2202

第七课-OpenCompass 大模型评测实战笔记

weixin_51314534的博客

04-25

639

对话模型：指令数据有监督微调(SFT)；人类偏好对齐(RLHF)公开权重的开源模型：使用GPU/推理加速卡进行本地推理。OpenCompass 核心代码库功能全面升级。基座模型：海量数据无监督训练(Base)API 模型：发送网络请求获取回复。夯实基础:自研高质量大模型评测基准。群策群力:携手行业领先共建繁荣生态。

内网渗透笔记-Day5

最新发布

m0_66921984的博客

11-24

791

内网渗透笔记、组、全局组、域本地组、A-G-DL-P策略

大模型核心笔记

weixin_63182000的博客

11-24

560

本文系统介绍了大语言模型（LLM）的核心概念与技术要点。首先明确LLM定义（超大规模参数模型）及四大特征：参数规模、数据需求、计算需求和泛化能力。从发展历程看，LLM经历了从统计模型到神经网络、预训练模型直至当前大规模生成式模型的演进。重点解析了LLM三大架构（Encoder/Decoder-Only及混合型）及其适用场景。在训练环节，详细说明了数据准备、预训练、微调的全流程及关键数据集。评估体系涵盖人工/自动方法及PPL、BLEU等核心指标。部署部分以VLLM为例，提供从环境配置到性能测试的完整指南。最后

Vue 项目实战《尚医通》，路由鉴权完成，笔记71

Rockandrollman的博客

11-23

147

Vue 项目实战《尚医通》，路由鉴权完成，笔记71

隐语——数据要素流通技术MOOC三期课程笔记——数据组件安全可行流通新模式课堂笔记

明月朗，潇水寒

11-23

891

本文介绍了数据组件作为标准化数据初级产品的核心概念与应用。主讲人胡承盛阐述了数据组件的三种形态（主态、模态、组合态）及其在金融、医疗等领域的应用案例。课程重点解析了数据组件的四大特性（安全、价值、品质、政策定位）、双层封装体系以及其在解决数据确权难题中的突破性作用。详细展示了数据组件从设计生产到流通使用的全流程，包括5阶段15步骤40工序的生产工艺。目前已在德阳、郑州等多个城市试点落地，实现交易额破亿。展望未来，数据组件将与隐私计算等技术深度融合，成为促进数据要素流通和数字经济发展的关键基础设施。

学习笔记——基础hash思想及其简单C++实现

2502_91790308的博客

11-23

945

哈希表是一种查找时间复杂度为O(1)的高效数据结构，通过哈希函数将数据映射到固定位置实现快速查询。本文介绍了哈希表的核心概念，包括哈希函数（重点讲解除留余数法）、负载因子和哈希冲突。针对冲突问题，详细阐述了开放定址法（含线性探测、二次探测）和链地址法两种解决方案。文章还通过计数排序示例说明哈希思想，并探讨了实现中的关键问题，如扩容策略、处理非整数类型键值的方法等。哈希表性能优异但需合理设计，否则可能退化为O(n)复杂度。

Rockandrollman的博客

11-24

375

第十八课小红书笔记 + 自动创建的飞书多维表

Lilac_0215的博客

11-23

627

摘要：本文介绍了自动化搜索小红书笔记并导入飞书多维表的流程实现。文章对比了手动创建表格与自动化流程的优劣，指出自动化处理在批量操作中的效率优势。最后强调了持续编程实践的重要性，为类似自动化办公场景提供了可复用的解决方案思路。