书生大模型实战营第4期 基础岛 第6关 L1G6000 OpenCompass 评测书生大模型实践

最新推荐文章于 2025-12-11 12:19:14 发布
原创 最新推荐文章于 2025-12-11 12:19:14 发布 · 209 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#linux #python #人工智能

OpenCompass 评测书生大模型实践

基础任务 使用 OpenCompass 评测浦语 API 记录复现过程并截图

安装依赖包过程省略

创建 configs/models/openai/puyu_api.py 并填入书生平台API KEY：
在这里插入图片描述
修改configs/datasets/demo/demo_cmmlu_chat_gen.py 将最后一行改成1：
在这里插入图片描述

在命令行中执行

python run.py --models puyu_api.py --datasets demo_cmmlu_chat_gen.py --debug

可以看到评估过程中的输出：
在这里插入图片描述
在这里插入图片描述

评估结果：
在这里插入图片描述
将评估结果的csv下载并打开：
在这里插入图片描述
任务完成！

Lin_Zeyang
关注
书生大模型实战营第四期-闯关挑战L1G6000 OpenCompass 评测书生大模型实践
qq_39297910的博客
12-30 244
至opencompass根目录。
【阿尼亚探索大模型】书生大模型实战营-基础岛第6关（L1G6000）OpenCompass 评测书生大模型实践
qq_45943172的博客
12-13 563
运行代码，并开始评测。此时，我们可以看到报错信息，显示huggingface版本错误。配置数据集，并开始评测。此时，我们可以看到报错信息，显示rouge导入错误。创建用于评测的 conda 环境。导入API 密钥，并配置模型。得到以下界面，即为评测完成。得到以下界面，即为评测完成。出现如下界面，即为配置成功。出现如下界面，即为评测完成。下载数据集到本地，并解压。下载数据集到本地，并解压。重新运行代码，开始评测。重新运行代码，开始评测。运行代码，并开始评测。运行代码，并开始评测。安装和部署本地模型。
第四期书生大模型实战营——基础岛第6关-L1G6000-OpenCompass 评测书生大模型实践
AbelYang1的博客
11-27 429
使用 OpenCompass 评测 internlm2.5-chat-1.8b 模型在 ceval 数据集上的性能，记录复现过程并截图。用 CMMLU Benchmark 的每个子数据集的 1 个样本进行评测，遇到问题。使用 OpenCompass 评测浦语 API 记录复现过程并截图。首先创建 conda 环境。为评测浦语 API 准备。
书生大模型实战营第四期 L1G6000 OpenCompass 评测书生大模型实践
qq_30731313的博客
11-12 985
OpenCompass 提供了 API 模式评测和本地直接评测两种方式。其中 API 模式评测针对那些以 API 服务形式部署的模型，而本地直接评测则面向那些可以获取到模型权重文件的情况。参考：https://github.com/InternLM/Tutorial/tree/camp4/docs/L1/Evaluation。
书生第四期实训营基础岛——L1G6000 OpenCompass 评测书生大模型实践
Kstheme的博客
11-07 261
书生第四期实训营基础岛——L1G6000 OpenCompass 评测书生大模型实践
书生大模型实战营第4期（L1G6000-OpenCompass 评测书生大模型实践）
猿牧码的博客
12-12 341
存在一些警告与错误，错误主要是已经安装过3个更高版本的包，这里先认为这三个包与版本可以向下兼容，若后面错误，再重新新建python环境与安装依赖包。export INTERNLM_API_KEY=xxxxxxxxxxxxxxxxxxxxxxx # 填入你申请的 API Key。打开网页：https://internlm.intern-ai.org.cn/api/document。由于前面已经安装过python310的环境，我在这里只需要激活到相关环境。根据提示创建token。
第6关 L1G6000 OpenCompass 评测书生大模型实践
qq_51046480的博客
12-23 212
配置环境变量：
书生大模型第四期闯关作业——L1G6000OpenCompass 评测书生大模型实践
weixin_49465398的博客
12-05 1897
1.使用 OpenCompass 评测浦语 API 记录复现过程并截图。（注意：写博客提交作业时切记删除自己的 api_key！2.使用 OpenCompass 评测 internlm2.5-chat-1.8b 模型在 ceval 数据集上的性能，记录复现过程并截图。（可选）
书生大模型实战营第四期L1G6000（OpenCompass 评测书生大模型实践）
stinkypudding的博客
11-11 1022
基座模型和指令微调后的对话模型评测的数据集构造不同。仅开放API的模型和公开权重的模型评测方法也不一样。评测集的构建也可分为主观题和客观题，客观题有有限个正确答案，主观题则通过人工或能力更强的大模型的评分来评判性能。处理长文本的能力也是一项重要指标。
四期书生大模型实战营（【基础岛】- 第6关 | OpenCompass 评测书生大模型实践（降低transformers版本）
qq_52928908的博客
11-06 1998
internlm_url = 'https://internlm-chat.intern-ai.org.cn/puyu/api/v1/' # 你前面获得的 api 服务地址。d['reader_cfg']['test_range'] = '[0:1]' # 这里每个数据集只取1个样本, 方便快速评测.export INTERNLM_API_KEY=xxxxxxxxxxxxxxxxxxxxxxx # 填入你申请的 API Key。openai_api_base=internlm_url, # 服务地址。
L1G6000 OpenCompass 评测书生大模型实践
Sophia_2019的博客
01-11 858
大语言模型的评测 OpenCompass 提供了 API 模式评测和本地直接评测两种方式
【第四期书生大模型实战营基础岛】L1G6000——OpenCompass 评测
weixin_46084134的博客
12-30 293
这样我们使用了 CMMLU Benchmark 的每个子数据集的 1 个样本进行评测.
Linux + MySQL + Sysbench 一键部署和压测教程
soft2001525的博客
12-10 579
安装 Sysbench 并验证创建测试数据库sbtest和用户sbtest使用prepare构造数据表使用run进行各种类型压测使用cleanup清理数据分析每秒统计和最终汇总报告。
Linux 基础开发工具(2)：gcc 、Makefile 与进度条程序实现
2501_92613722的博客
12-09 679
本文详细介绍了Linux下C/C++开发的核心工具链：首先解析gcc/g++编译器从预处理、编译、汇编到链接的完整编译流程；其次讲解Makefile的自动化构建原理与编写方法，包括单文件和多文件项目的构建规则；最后通过实现基础版和业务适配版两种进度条程序，演示了Linux终端程序的开发技巧。文章系统性地梳理了Linux开发环境搭建、项目构建和特色程序实现的全过程，为开发者提供了完整的入门指导方案。掌握这些基础技能后，开发者可快速开展Linux平台下的C/C++项目开发工作。
linux知识点-内核参数相关
gdpgdp_3的博客
12-11 84
sysctl --system 不指定文件情况默认加载from all system configuration files，如下。sysctl -p 默认（不指定文件情况下）加载 /etc/sysctl.conf 中所有的参数。sysctl --system 和sysctl -p的区别。
Linux的进程状态详解
m0_73693552的博客
12-08 1224
进程状态概念，Linux内核的状态管理，ps指令查看进程，后台进程和前台进程，Linux内核定义的6种状态的描述和关系
Linux lftp命令
菜鸟记录
12-07 375
⏹Linux lftp命令
虚拟机Linux（Ubuntu）忘记登录密码
天颖
12-07 346
解决虚拟机忘记密码后，重置密码的操作
NFSv4 ACL 详解（基于 linux 原生实现）
最新发布
qq_37517281的博客
12-11 924
NFSv4 ACL与POSIX ACL在权限管理上存在显著差异。POSIX ACL基于owner/group/other模型并引入mask限制，而NFSv4 ACL取消了mask概念，采用OWNER@、GROUP@、EVERYONE@等原则。二者转换时，NFSv4 ACL会转为POSIX ACL存储。NFSv4 ACL通过有序的ACE条目实现权限控制，但需注意deny操作可能产生"误伤"。使用nfs4_setfacl/nfs4_getfacl命令可管理ACL，其中deny操作可能影响其他
第四期书生大模型：书生基础通关岛第三关
01-20
### 关于书生大模型第四期基础通关岛第三关 针对书生大模型第四期基础通关岛第三关的任务，此阶段主要聚焦于通过不同参数量训练模型并结合多种微调技术来优化特定任务的表现。具体而言，在对比 xcomposer2-4khd、internVL1.5 和 llava-llama3-8b 这些具有不同参数规模的预训练模型时，采用 LORA（低秩自适应）、QLORA 及 FULL 训练方法可以有效增强模型处理少量样本学习(few-shot learning)以及专门领域内图纸识别的能力[^1]。 为了成功完成这一挑战，建议采取如下策略： #### 数据准备 确保拥有高质量的数据集用于训练和验证，特别是那些能够代表目标应用场景中的特征数据，比如工业设计图或其他形式的技术绘图。 #### 模型选择与调整 基于项目需求挑选合适的基线模型，并考虑其参数大小对性能的影响。较小的模型可能更适合资源受限环境下的部署；而较大的模型则通常能提供更好的泛化能力。 #### 微调技巧应用 利用LORA或QLORA等高效微调方式快速适配新任务，减少计算成本的同时保持较高的准确性。对于更复杂的要求，则可尝试FULL fine-tuning以获得最佳效果。 ```python from transformers import AutoModelForSequenceClassification, Trainer, TrainingArguments model_name = "path_to_pretrained_model" model = AutoModelForSequenceClassification.from_pretrained(model_name) training_args = TrainingArguments( output_dir="./results", evaluation_strategy="epoch", per_device_train_batch_size=8, per_device_eval_batch_size=8, num_train_epochs=3, weight_decay=0.01, ) trainer = Trainer( model=model, args=training_args, train_dataset=train_dataset, eval_dataset=val_dataset, ) ``` 上述代码片段展示了如何设置一个简单的`Trainer`对象来进行模型微调操作。实际实现过程中还需要根据具体的任务类型调整配置项。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值