OpenCompass 大模型评估工具安装指南

OpenCompass 大模型评估工具安装指南

opencompass opencompass - OpenCompass是一个用于评估大型语言模型的工具，提供分布式评估、多样化评估范式和模块化设计。 项目地址: https://gitcode.com/gh_mirrors/op/opencompass

前言

OpenCompass 是一个功能强大的大语言模型评估工具，支持对各类开源和商业模型进行全面的能力评测。本文将详细介绍如何正确安装和配置 OpenCompass 环境，帮助开发者快速上手使用。

基础环境安装

1. 创建 Conda 虚拟环境

推荐使用 Conda 管理 Python 环境以避免依赖冲突：

conda create --name opencompass python=3.10 -y
conda activate opencompass

2. PyTorch 安装

OpenCompass 要求 PyTorch 版本 ≥1.13。如需特定 CUDA 版本的 PyTorch，请根据硬件配置选择合适的安装命令。

3. OpenCompass 安装

提供三种安装方式：

标准安装（推荐）：

pip install -U opencompass

完整安装（支持更多数据集）：

pip install "opencompass[full]"

源码安装（开发人员适用）：

git clone 项目仓库地址
cd opencompass
pip install -e .

可选组件安装

1. 推理后端支持

OpenCompass 支持多种推理后端，建议为每个后端创建独立环境：

LMDeploy 后端：

pip install "opencompass[lmdeploy]"

vLLM 后端：

pip install "opencompass[vllm]"

2. API 模型支持

如需评估商业 API 模型（如 GPT、Claude 等）：

pip install "opencompass[api]"

3. 扩展数据集支持

部分特殊数据集需要额外依赖：

pip install "opencompass[full]"

对于 HumanEval 系列评估：

git clone --recurse-submodules 相关仓库地址
cd human-eval
pip install -e .
pip install -e evalplus

数据集准备

OpenCompass 支持三类数据集来源：

1. HuggingFace 数据集：自动下载
2. ModelScope 数据集：

   export DATASET_SOURCE=ModelScope
   

3. 自定义数据集：需手动下载解压

核心数据集下载：

wget 数据集下载地址/OpenCompassData-core-20240207.zip
unzip OpenCompassData-core-20240207.zip

完整数据集下载：

wget 数据集下载地址/OpenCompassData-complete-20240207.zip
unzip OpenCompassData-complete-20240207.zip
cd ./data
find . -name "*.zip" -exec unzip "{}" \;

常见问题

1. 依赖冲突：建议为不同后端创建独立 Conda 环境
2. CUDA 版本不匹配：确保 PyTorch 版本与 CUDA 驱动兼容
3. 数据集下载失败：可尝试手动下载后放置到指定目录

结语

通过以上步骤，您已成功安装 OpenCompass 评估工具。下一步可参考快速入门指南开始您的模型评估之旅。OpenCompass 提供了丰富的评估配置选项，支持对大语言模型进行多维度的能力评测。

opencompass opencompass - OpenCompass是一个用于评估大型语言模型的工具，提供分布式评估、多样化评估范式和模块化设计。 项目地址: https://gitcode.com/gh_mirrors/op/opencompass