使用OpenCompass 评测大模型——L1G6

本文主要内容：使用 OpenCompass 评测 InternLM2.5-1.8B-Chat 模型在 ceval 数据集上的性能，记录复现过程，报错及解决方式。

多模态大模型的评测方法有哪些？

OpenCompass 提供了 API 模式评测和本地直接评测两种方式。其中 API 模式评测针对那些以 API 服务形式部署的模型，而本地直接评测则面向那些可以获取到模型权重文件的情况。

创建用于评测 conda 环境

conda create -n opencompass python=3.10
conda activate opencompass

cd /root
git clone -b 0.3.3 https://github.com/open-compass/opencompass
cd opencompass
pip install -e .
pip install -r requirements.txt
pip install huggingface_hub==0.25.2

pip install importlib-metadata

评测 API 模型

如果你想要评测通过 API 访问的大语言模型，整个过程其实很简单。首先你需要获取模型的 API 密钥（API Key）和接口地址。以 OpenAI 的 GPT 模型为例，你只需要在 OpenAI 官网申请一个 API Key，然后在评测配置文件中设置好这个密钥和相应的模型参数就可以开始评测了。评测过程中，评测框架会自动向模型服务发送测试用例，获取模型的回复并进行打分分析。整个过程你不需要准备任何模型文件，也不用担心本地计算资源是否足够，只要确保网络连接正常即可。

考虑到 openai 的 API 服务暂时在国内无法直接使用，我们这里以评测 internlm 模型为例，介绍如何评测 API 模型。

1. 打开网站浦语官方地址 https://internlm.intern-ai.org.cn/api/document 获得 api key 和 api 服务地址 (也可以从第三方平台 硅基流动 获取), 在终端中运行:

2. export INTERNLM_API_KEY=xxxxxxxxxxxxxxxxxxxxxxx # 填入你申请的 API Key
   

3. 配置模型: 在终端中运行 cd /root/opencompass/ 和 touch opencompass/configs/models/openai/puyu_api.py, 然后打开文件, 贴入以下代码:

4. import os
   from opencompass.models import OpenAISDK
   
   
   internlm_url = 'https://internlm-chat.intern-ai.org.cn/puyu/api/v1/' # 你前面获得的 api 服务地址
   internlm_api_key = os.getenv('INTERNLM_API_KEY')
   
   models = [
       dict(
           # abbr='internlm2.5-latest',
           type=OpenAISDK,
           path='internlm2.5-latest', # 请求服务时的 model name
           # 换成自己申请的APIkey
           key=internlm_api_key, # API key
           openai_api_base=internlm_url, # 服务地址
           rpm_verbose=True, # 是否打印请求速率
           query_per_second=0.16, # 服务请求速率
           max_out_len=1024, # 最大输出长度
           max_seq_len=4096, # 最大输入长度
           temperature=0.01, # 生成温度
           batch_size=1, # 批处理大小
           retry=