使用opencompass评测 InternLM API 实践

1.安装opencompass评测环境

conda create -n opencompass python=3.10
conda activate opencompass

cd /root
git clone -b 0.3.3 https://github.com/open-compass/opencompass
cd opencompass
pip install -e .
pip install -r requirements.txt
pip install huggingface_hub==0.25.2

pip install importlib-metadata

以下分别是各阶段完成截图

 

修改评读取测数据集数量

 运行评测进行api评测  （如果出现错误要运行下面的命令）

pip install rouge-chinese

# 如果出现 rouge 导入报错, 请 pip uninstall rouge 之后再次安装 pip install rouge==1.0.1 可解决问题.

2.运行评测

python run.py --models puyu_api.py --datasets demo_cmmlu_chat_gen.py --debug

3.完成评测及结果摘要