【基础岛第五关】书生大模型实战营 - OpenCompass 评测书生大模型实践

环境准备

启动书生训练营开发机，创建一个conda虚拟环境并安装依赖。

conda create -n opencompass python=3.10
conda activate opencompass

cd /root
git clone -b 0.3.3 https://github.com/open-compass/opencompass
cd opencompass
pip install -e .
pip install -r requirements.txt
pip install huggingface_hub==0.25.2

pip install importlib-metadata

 测评API模型

获取 API

打开地址书生·浦语 ， 获取api key和api服务地址。

可以把API Token写到 ~/.bashrc 文件中，这样在脚本中就可以通过 os,getenv("API_KEY")来获取了。例如 export API_KEY="XXXXXX"。

配置模型

创建puyu_api.py文件，文件路径和内容如下：<