书生·浦语-模型评测opencompass

最新推荐文章于 2025-12-05 11:17:30 发布
原创 最新推荐文章于 2025-12-05 11:17:30 发布 · 532 阅读 · 10 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#语言模型 #人工智能 #自然语言处理 #langchain

本文探讨了大预言模型的评测方法，涉及主观和客观评测，强调了对提示词敏感性的评估，并重点介绍了主流评测框架——opencompass平台在作业中的应用。

大预言模型评测

在这里插入图片描述

模型评测包括主管评测与客观评测
在这里插入图片描述
在这里插入图片描述
测试模型对提示词的敏感性，或通过提示词获得更准确地答案
在这里插入图片描述

主流评测框架

在这里插入图片描述
在这里插入图片描述

opencompass评测平台

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

作业

在这里插入图片描述
在这里插入图片描述

书生·浦语-对话-20B 书生大模型
强化学习曾小健
09-25 423
上海人工智能实验室与商汤科技联合香港中文大学和复旦大学正式推出书生·浦语200亿参数模型版本 InternLM-20B ，InternLM-20B 在超过2.3TTokens包含高质量英文、中文和代码的数据上进行预训练，其中 Chat 版本还经过了SFT 和 RLHF 训练，使其能够更好、更安全地满足用户的需求。InternLM 20B 在模型结构上选择了深结构，层数设定为60层，超过常规7B和13B模型所使用的32层或者40层。在参数受限的情况下，提高层数有利于提高模型的综合能力。
书生浦语大模型-作业七（OpenCompass大模型评测）
weixin_40574825的博客
04-25 386
确保按照上述步骤正确安装 OpenCompass 并准备好数据集后，可以通过以下命令评测 InternLM2-Chat-1.8B 模型在 C-Eval 数据集上的性能。当屏幕显示‘Starting inference process’时表示已正常开始评测。列出所有跟 InternLM 及 C-Eval 相关的配置。也可以在生成的CSV文件中查看评测结果。查看支持的数据集和模型。
书生·浦语大模型之OpenCompass评测框架
2301_80313103的博客
08-12 1245
书生·浦语大模型之OpenCompass评测篇
书生浦语大模型学习--OpenCompass 评测书生大模型实践
m0_46696662的博客
12-30 391
打开网站浦语官方地址 https://internlm.intern-ai.org.cn/api/document 获得 api key 和 api 服务地址 (也可以从第三方平台 硅基流动 获取), 在终端中运行:export INTERNLM_API_KEY=xxxxxxxxxxxxxxxxxxxxxxx # 填入你申请的 API Key。
书生·浦语大模型-OpenCompass
weixin_45222417的博客
04-24 970
ceval_infer_cfg需要修改 prompt，ceval_eval_cfg是评测方式的选择，如果是选择题，这里使用AccEvaluator。过程：在一个长文本中插入一个无关的问题和答案，比如下面的小明在哪里实习的问题。然后再问模型这个问题，如果能回答上来，说明具备比较好的长文本能力。在评测过程中，显存占用可能高达十几个 GB，因此 8GB 应该是不够用的。这里的 class 名和配置文件中的要一致。有评测流水线：任务切分，并行的跑评测任务。
书生·浦语大模型（七）OpenCompass ：大模型评测实战
ww1132的博客
04-23 918
上海人工智能实验室科学家团队正式发布了大模型开源开放评测体系 “司南” (OpenCompass2.0)，用于为大语言模型、多模态模型等提供一站式评测服务。开源可复现：提供公平、公开、可复现的大模型评测方案全面的能力维度：五大维度设计，提供 70+ 个数据集约 40 万题的的模型评测方案，全面评估模型能力丰富的模型支持：已支持 20+ HuggingFace 及 API 模型分布式高效评测：一行命令实现任务分割和分布式评测，数小时即可完成千亿模型全量评测。
书生浦语大模型教程2-6：OpenCompass 评测书生大模型实践
weixin_44497664的博客
12-10 221
OpenCompass是一个大模型评测框架,该框架有大量的大模型测评工具以及数据集合等为大模型性能提供了一个较好的量化标准。
书生浦语work7——OpenCompass大模型评测
m0_64154291的博客
04-25 853
大模型评测中的挑战主要评测对象为语言大模型与多模态大模型。
第二期书生浦语大模型实战营第七次课程笔记----OpenCompass 大模型评测实战
haidizym的博客
04-23 581
OpenCompass 大模型评测实战
书生大模型-L1G6000-OpenCompass 评测书生大模型实践
weixin_74439007的博客
03-15 1219
可以通过以下命令评测 InternLM2.5-1.8B-Chat 模型在 C-Eval 数据集上的性能。由于 OpenCompass 默认并行启动评估过程，我们可以在第一次运行时以 --debug 模式启动评估，并检查是否存在问题。export INTERNLM_API_KEY=xxxxxxxxxxxxxxxxxxxxxxx # 填入你申请的 API Key。export INTERNLM_API_KEY=xxxxxxxxxxxxxxxxxxxxxxx # 填入你申请的 API Key。
书生浦语之：OpenCompass 评测 InternLM-1.8B 实践
XUTINGZHANGLOVE的专栏
07-27 1012
OpenCompass2.0，又称“司南”，是由上海人工智能实验室科学家团队正式发布了大模型开源开放评测体系。其主要是用于为大语言模型、多模态模型等提供一站式评测服务。开源可复现：提供公平、公开、可复现的大模型评测方案全面的能力维度：五大维度设计，提供 70+ 个数据集约 40 万题的的模型评测方案，全面评估模型能力丰富的模型支持：已支持 20+ HuggingFace 及 API 模型分布式高效评测：一行命令实现任务分割和分布式评测，数小时即可完成千亿模型全量评测。
书生·浦语大模型实战训练营--第二期第七节--OpenCompass大模型评测实战--homework
weixin_61573157的博客
04-23 400
安装下面的顺序以及自己的文件路径配置环境。打开配置之后可以看到如下结果。
书生大模型第五期-L1G2-OpenCompass 评测书生大模型实践
nuowenyadelunwen的博客
07-09 1913
OpenCompass 是一个开源的、专为大语言模型（LLM）设计的评测平台。它支持广泛的模型和数据集，提供了一整套从评测、分析到报告的工具链。全面的评测能力: 支持多种评测任务，如自然语言理解、生成、推理、知识等。可复现性: 标准化的评测流程和配置，确保评测结果的公平性和可复现性。高效率: 支持分布式评测，能够利用多卡、多机资源并行处理任务，大幅提升评测效率。易于扩展: 用户可以方便地添加自定义的模型、数据集和评测指标。配置 (Configuration): 定义需要评测的模型和数据集。
TensorRT笔记（5）：研究timingCache
ouliten的博客
12-02 1011
在里出现了大量的timingCache，但是当时没有取研究这是干啥的，本文就来解析一下。样例都基于上面的文章。
【模式识别与机器学习（8）】主要算法与技术（下篇：高级模型与集成方法）之 元学习与集成方法：组合多个学习器来提高整体性能
hiliang521的博客
12-02 856
【模式识别与机器学习（8）】主要算法与技术（下篇：高级模型与集成方法）之 元学习
大模型应用：大模型 MapReduce 全解析：核心概念、中文语料示例实现.12
minhuan的专栏
12-03 1118
本文介绍了MapReduce编程模型及其在大模型训练中的应用。MapReduce通过"分治-并行-聚合"思想处理大规模数据，传统Hadoop MapReduce侧重结构化数据计算，而大模型MapReduce则针对自然语言处理任务。文章详细对比了两者在架构、处理对象和核心算力等方面的差异，并提供了中文词频统计的Python实现示例，包括单机版和分布式版本。分布式实现利用多进程模拟集群计算，展示了数据分片、Map、Shuffle和Reduce的完整流程。
人工智能的基石之三：硬件
最新发布
最简单的方法，解决最实际的问题。
12-05 472
高性能硬件是人工智能的基石，尤其是在机器学习和深度学习领域，海量数据是常态。从充当计算机大脑的中央处理器 (CPU) 到加速计算的图形处理器 (GPU)，硬件的作用是提供处理和运行复杂数据算法所需的原始能力。
AI泡沫什么时候破？
脑极体
12-04 477
而AI企业面对的短期形势，可能更为严峻。而AI公司和技术服务商，为了迎合决策者或拿下B端大项目，往往不计成本的低价竞标，无视人工成本的驻场开发，技术价值让位于领导偏好，企业自身也深陷人效黑洞，沦为挣辛苦钱的技术外包。To B/G不赚钱，To C也卖不上价，所以目前AI领域唯一清晰的商业模式，就是类似英伟达的“卖铲人”模式，卖加速卡和算力的企业成了这一轮AI浪潮的最大受益人。去伪存真之后，资本会冷却，叙事会修正，共识会重新凝聚，而那些持续追问“AI如何创造真实价值”的人，会与行业一同穿越周期，走向成熟。
昇腾平台 vLLM 部署与性能优化实战：高吞吐推理落地指南
热门推荐
二哈喇子！
12-01 2万+
昇腾平台vLLM部署与性能优化实战摘要
书生浦语大模型作业
05-13
### 书生浦语大模型作业实现指南 #### 1. 环境配置与模型加载 为了完成与书生浦语大模型相关的作业，首先需要确保基础环境已正确配置。可以通过指定 `local_llm_path` 参数来加载本地模型文件夹路径或 Huggingface ...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

云朵不吃雨

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值