Open Compass评估Qwen模型实战

1.构建虚拟环境

conda create --name opencompass python=3.10 -y

conda activate opencompass

2.安装opencompass

git clone https://github.com/open-compass/opencompass opencompass
cd opencompass
pip install -e .

3.数据准备

• 提前离线下载
• OpenCompass支持使用本地数据集进行评测，数据集的下载和解压可以通过以下命令完成：

# 下载数据集到 opencompass目录下
wget https://github.com/open-compass/opencompass/releases/download/0.2.2.rc1/OpenCompassData-core-20240207.zip
unzip OpenCompassData-core-20240207.zip

4 下载Qwen模型

下载方式

5.评测

• OpenCompass 支持通过命令行界面 (CLI) 或 Python 脚本来设置配置。对于简单的评估设置，我们推荐使用 CLI；
• 而对于更复杂的评估，则建议使用脚本方式。你可以在configs文件夹下找到更多脚本示例。

opencompass --models hf_qwen1_5_1_8b_chat.py --datasets demo_gsm8k_chat_gen

脚本解读

• hf_qwen1_5_1_8b_chat.py 在以下目录（opencompass/opencompass/configs/models/qwen）可以找到，将path路径替换为你的本地模型路径

from opencompass.models import HuggingFacewithChatTemplate

models = [
    dict(
        type=HuggingFacewithChatTemplate,
        abbr='qwen1.5-1.8b-chat-hf',
        path='Qwen/Qwen1___5-1___8B-Chat',
        max_out_len=1024,
        batch_size=8,
        run_cfg=dict(num_gpus=1),
        stop_words=['<|im_end|>', '<|im_start|>'],
    )
]

• –datasets 用于指定评估模型时使用的数据集配置。它的作用是指明你要用哪些数据集来测试模型的性能。

5.1执行结果

6.自定义数据集

• 自定义数据集可直接通过命令行来调用开始评测

python run.py \
    --models hf_llama2_7b \
    --custom-dataset-path xxx/test_qa.jsonl \
    --custom-dataset-data-type qa \
    --custom-dataset-infer-method gen