【第7节】OpenCompass 大模型评测实战

已于 2024-05-17 11:51:09 修改
阅读量1.3k 收藏 31
点赞数 24
分类专栏： 书生浦语LLM大模型从入门到精通 文章标签： 大模型 LLM 书生浦语 agent
于 2024-04-24 23:08:38 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_42237113/article/details/138171810
版权
本文介绍了OpenCompass大模型评测体系，包括其开源历程、评测方法和主要产品。OpenCompass提供全面的评测方案，支持多种大模型，通过客观与主观评测相结合的方式评估模型能力，旨在推动大模型的发展。文章还详述了如何使用OpenCompass进行实践操作，从配置、推理、评估到可视化，帮助读者理解大模型的性能。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录


欢迎关注我的公众号，后续将会及时更新更多AI前沿内容和实践。
公众号：Aifastlane
请添加图片描述

1 基础课程笔记

【资源汇总】视频 | 文档 | opencompass - github | opencompass官方文档

基础作业

了解本专栏 订阅专栏 解锁全文 超级会员免费看
OpenCompass 评测 InternLM-1.8B 实践
rrrrroseyy的博客
08-10 462
任务要求：在 OpenCompass 中评估一个模型通常包括以下几个阶段：配置 -> 推理 -> 评估 -> 可视化。
书生浦语大模型--开源体系
m0_63221910的博客
01-16 1089
因此随着深度学习理论的突破和技术进步，通用模型成为了AI研究的新焦点，目的就是为了创建能够解决多种问题的灵活、适应性强的模型。大模型与通用人工智能（AGI），大模型通常被视为发展通用人工智能的重要途径。AI研究从专用模型向通用模型转变，在过去的一二十年中，研究重点在于针对特定任务的专用模型。
OpenCompass 司南 大模型测评
2301_77641278的博客
04-19 1861
上海人工智能实验室科学家团队正式发布了大模型开源开放评测体系 “司南” (OpenCompass2.0)，用于为大语言模型、多模态模型等提供一站式评测服务。开源可复现：提供公平、公开、可复现的大模型评测方案全面的能力维度：五大维度设计，提供 70+ 个数据集约 40 万题的的模型评测方案，全面评估模型能力丰富的模型支持：已支持 20+ HuggingFace 及 API 模型分布式高效评测：一行命令实现任务分割和分布式评测，数小时即可完成千亿模型全量评测。
InternLM实战营---第七节课作业
m0_53935992的博客
05-03 432
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档。
第 7 节OpenCompass 大模型评测实战
flairJiang的博客
06-18 521
客观评测能便捷地评估模型在具有确定答案（如选择，填空，封闭式问答等）的任务上的能力，主观评测能评估用户对模型回复的真实满意度，OpenCompass 采用基于模型辅助的主观评测和基于人类反馈的主观评测两种方式。同时，由于大语言模型输出自由度较高，在评测阶段，我们需要对其输入和输出作一定的规范和设计，尽可能减少噪声输出在评测阶段的影响，才能对模型的能力有更加完整和客观的评价。针对如模型安全和模型语言能力的评测，以人的主观感受为主的评测更能体现模型的真实能力，并更符合大模型的实际使用场景。
第七课-OpenCompass 大模型评测实战笔记
weixin_51314534的博客
04-25 568
对话模型：指令数据有监督微调(SFT)；人类偏好对齐(RLHF)公开权重的开源模型：使用GPU/推理加速卡进行本地推理。OpenCompass 核心代码库功能全面升级。基座模型：海量数据无监督训练(Base)API 模型：发送网络请求获取回复。夯实基础:自研高质量大模型评测基准。群策群力:携手行业领先共建繁荣生态。
OpenCompass 大模型评测实战
qq_42137576的博客
05-23 1252
上海人工智能实验室科学家团队正式发布了大模型开源开放评测体系 “司南” (OpenCompass2.0)，用于为大语言模型、多模态模型等提供一站式评测服务。
第6节OpenCompass 作业
qq_46052444的博客
01-23 548
3 执行run.py 测试internlm2-chat-7b。1.环境安装......
大模型评测概述-以司南为例
qq_43814415的博客
04-28 1899
本文以司南评估工具为例，介绍了大模型评测这一内容。大模型评测和以往的nlp模型评测的不同在于要考虑非常多的维度，根源在于大模型的多维能力。传统nlp模型只需要针对文本分类、ner等某个具体任务，但是大模型具有文本对话、角色扮演、文本分类等传统nlp有和没有的能力。因此，司南将其分为通用能力和特色能力两个部分，再分层划分各个子维度的能力。再回顾下开发大模型的生命周期：模型基座（base），增量预训练，sft，奖励学习，人类偏好学习。目前大多还是只走到了sft。
OpenCompass（司南）大模型测评工具：AI大模型系列介绍与实践指南！
最新发布
2401_84495872的博客
04-12 1114
OpenCompass，也称为“司南”，是由上海人工智能实验室发布的一个开源的大模型评测体系，已经成为目前权威的大型模型评估平台，本篇介绍如何使用OpenCompass进行大模型测评，以及其中涉及的相关知识。
机器学习模型效果评估
张俊红的个人博客
02-25 1250
总第96篇前言前面的推文中介绍了几种常用的机器学习算法，每个算法都有各自的优劣势，我们应该选择根据每个算法的优劣势去合理的选择适合我们需求的算法，以此达到效果最优，那么什么样的效果才是最...
一文读懂司南大模型评测体系 OpenCompass
OpenCompass的博客
07-26 1860
在人工智能领域，大语言模型已经成为了技术创新的重要驱动力。为了更好地评估和提升大模型的性能，上海人工智能实验室研发推出了 OpenCompass 司南大模型开源评测体系。该体系是面向大语言模型、多模态大模型等各类模型的一站式评测平台。
书生·浦语大模型课程（一）
Yogffee的博客
01-30 259
3、 部署方案：技术点，如模型并行、低比特量化、Attention优化、计算和访存优化、Continuous Batching等。2、 OpenCompass：丰富模型支持、分布式高效评测、便捷的数据集接口、敏捷的能力迭代。1、 大语言模型的局限性：最新信息和知识的获取、回复的可靠性、数学计算、工具使用和交互。1、 大语言模型的特点：内存开销巨大、动态shape、模型结构相对简单。特点：高可扩展、极致性能优化、兼容主流、开箱即用。包括文本数据、图像-文本数据、视频数据等。2、 技术挑战：设备、推理、服务。
书生·浦语大模型趣味 Demo
weixin_47233613的博客
01-08 966
大模型开发实践，just do it
Opencompass模型评测教程
m0_51156601的博客
05-25 2026
模型评测非常关键，目前主流的方法主要可以概括为主观评测和客观评测，主观评测又可以分为两种形式：人工判断或者和模型竞技场。客观评测一般采用评测数据集的形式进行模型评测。本教程使用Opencompass工具进行对Internlm2-7b模型进行评测。
干货分享！如何评估大模型LLMs的输出质量？评估方法大盘点！
python12345678_的博客
08-12 2024
本文探讨了评估LLM输出结果的一些技术，从人工评估到自动化评估。其中：一方面，自动化评估的时间成本效率更高，在某些情况下是非常实用的选择，例如在早期原型设计阶段。另一方面，人工评估仍然是获得模型应用准确性和实用性最强评估标准。每种评估方法都有其优点以及潜在缺陷，这个也要根据具体任务具体分析。​。
CompassArena 司南大模型测评--代码编写
一只不知疲倦的学习猿
06-01 1226
大模型测评
OpenCompass 大模型评测
03-15
### OpenCompass 大模型评测方法分析 OpenCompass 的大模型评测方法主要分为客观评测和主观评测两部分。对于具有明确答案的任务，通过构建丰富的评测集来进行综合评价[^1]。具体来说，客观评测依赖于定量指标来衡量模型输出与标准答案之间的差异，并引入提示词工程和语境学习技术以降低噪声的影响[^2]。 #### 客观评测 在客观评测中，OpenCompass 使用两种核心方法： - **判别式评测**：该方法将问题与其可能的候选答案组合起来，计算每种组合的困惑度（Perplexity），最终选取困惑度最低的答案作为最优选项。这种方法适用于有固定答案的选择题形式任务。 - **生成式评测**：此方法主要用于评估模型的语言生成能力，例如翻译、摘要生成等任务。它通过对输入问题进行补全操作并结合后处理手段完成评测。 为了进一步提升评测质量，Objective Evaluation 还会考虑如何优化提示设计以及上下文理解过程中的干扰因素消除等问题[^3]。 #### 主观评测 针对开放性较强或者涉及安全性考量的内容，则更多依靠人工判断力来进行定性分析。在这种情况下，OpenCompass 设计了一套专门用于收集人类意见的数据结构——即所谓的“主观测试问题集合”。这套体系允许参与者依据个人体验对多个版本的回答给予分数评定；同时也会借助其他高级算法模拟真人反馈机制从而实现更高效的大规模样本采集工作流程。 此外，在实际应用过程中还会运用到诸如单个模型回复满意程度统计学分布规律研究以及跨平台对比实验等方式增强整体结论可靠性水平。 ### 数据准备与环境搭建 关于具体的实施步骤方面，用户需先下载官方发布的压缩包文件至指定目录下解压即可获得所需资源材料[^4]。而在开发环境中则推荐按照文档指南说明执行相应命令行脚本来配置好必要的软硬件设施条件以便顺利开展后续各项功能模块调试验证活动[^5]。 ```bash cp /share/temp/datasets/OpenCompassData-core-20231110.zip /root/opencompass/ unzip OpenCompassData-core-20231110.zip studio-conda -o internlm-base -t opencompass source activate opencompass git clone -b 0.2.4 https://github.com/open-compass/opencompass.git cd opencompass pip install -e . ``` 以上代码片段展示了从获取基础数据直至部署运行环境所需的全部关键指令序列。 ### 结果分析 尽管当前并未提供确切数值层面的表现详情描述，但从理论框架角度来看，上述提到的各种策略共同作用能够有效保障整个评估系统的科学性和公正性特征得以充分体现出来。因此可以预期经过这样一套严谨程序筛选出来的优秀作品必然具备较高的可信度值得信赖采纳推广使用价值极高。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI扩展坞

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值