书生大模型实战营第4期 基础岛 第6关 L1G6000 OpenCompass 评测书生大模型实践

OpenCompass 评测书生大模型实践

基础任务 使用 OpenCompass 评测浦语 API 记录复现过程并截图

安装依赖包过程省略

创建 configs/models/openai/puyu_api.py 并填入书生平台API KEY：

修改configs/datasets/demo/demo_cmmlu_chat_gen.py 将最后一行改成1：

在命令行中执行

python run.py --models puyu_api.py --datasets demo_cmmlu_chat_gen.py --debug

可以看到评估过程中的输出：

评估结果：

将评估结果的csv下载并打开：

任务完成！