【LLM之评测】opencompass使用自定义接口与自定义数据集进行评测

🛠️ 安装指南

版本：0.3.7

下面提供了快速安装和数据集准备的步骤。

💻 环境搭建

强烈建议使用 conda 来管理您的 Python 环境。

• 创建虚拟环境

  conda create --name opencompass python=3.10 -y
  conda activate opencompass
  

• 通过pip安装OpenCompass

  # 支持绝大多数数据集及模型
  pip install -U opencompass
  
  # 完整安装（支持更多数据集）
  # pip install "opencompass[full]"
  
  # 模型推理后端，由于这些推理后端通常存在依赖冲突，建议使用不同的虚拟环境来管理它们。
  # pip install "opencompass[lmdeploy]"
  # pip install "opencompass[vllm]"
  
  # API 测试（例如 OpenAI、Qwen）
  # pip install "opencompass[api]"
  

📂 数据准备

提前离线下载

OpenCompass支持使用本地数据集进行评测，数据集的下载和解压可以通过以下命令完成：

# 下载数据集到 data/ 处
wget https://github.com/open-compass/opencompass/releases/download/0.2.2.rc1/OpenCompassData-core-20240207.zip
unzip OpenCompassData-core-20240207.zip

使用本地机器vllm部署的qwen api测试ceval

由于兼容openai接口，因此使用openai接口的测试脚本，修改对应的key以及url地址即可。在config下新建一个脚本，用opencompass运行即可。

from mmengine.config import read_base
from