OpenCompass 评测 InternLM-1.8B 实践

参照书生github仓库配置环境

1.使用命令行配置参数法进行评测

环境变量评测

#环境变量配置
export MKL_SERVICE_FORCE_INTEL=1
#或
export MKL_THREADING_LAYER=GNU

 运行：

python run.py --datasets ceval_gen --models hf_internlm2_chat_1_8b --debug

运行结果： 

可以看到运行结果最后两行生成了txt和csv文件，顺着路径可以对文件进行查看如下，包括测试所用的数据集，正确率等：

  2.使用配置文件修改参数法进行评测

创建文件

cd /root/opencompass/configs
touch eval_tutorial_demo.py

 打开touch eval_tutorial_demo.py输入下面内容：

from mmengine.config import read_base

with read_base():
    from .datasets.ceval.ceval_gen import ceval_datasets
    from .models.hf_internlm.hf_internlm2_chat_1_8b import models as hf_internlm2_chat_1_8b_models

datasets = ceval_datasets
models = hf_internlm2_chat_1_8b_models

运行之前一定要配置环境变量！！！

 环境变量评测

#环境变量配置
export MKL_SERVICE_FORCE_INTEL=1
#或
export MKL_THREADING_LAYER=GNU

运行 ：

python run.py
--datasets ceval_gen \ # 数据集准备
--models hf_internlm2_chat_1_8b \  # 模型准备
--debug

运行结果： 

该结果也会保存txt、csv文件，可以顺着路径进行查看。