Camp4-L1：OpenCompass评测书生大模型实践

原创

已于 2024-11-07 10:50:19 修改 · 845 阅读

13 ·

CC 4.0 BY-SA版权

文章标签：

#大模型 #人工智能

于 2024-11-07 10:49:43 首次发布

书生浦语大模型实战营第四期-OpenCampass评测书生大模型实践

教程链接：https://github.com/InternLM/Tutorial/tree/camp4/docs/L1/Evaluation
视频链接：https://www.bilibili.com/video/BV1dtD4YKENj/
任务链接：https://github.com/InternLM/Tutorial/blob/camp4/docs/L1/Evaluation/task.md
提交链接：https://aicarrier.feishu.cn/share/base/form/shrcnUqshYPt7MdtYRTRpkiOFJd

任务说明

基础任务（完成此任务即完成闯关）

使用 OpenCompass 评测浦语 API 记录复现过程并截图。
使用 OpenCompass 评测 internlm2.5-chat-1.8b 模型在 ceval 数据集上的性能，记录复现过程并截图。（可选）

进阶任务（闯关不要求完成此任务）

使用 OpenCompass 进行主观评测（选做）
使用 OpenCompass 评测 InternLM2-Chat-1.8B 模型使用 LMDeploy部署后在 ceval 数据集上的性能（选做）

基础1

使用OpenCompass评测浦语API记录复现过程并截图

环境配置：

conda create -n opencompass python=3.10
conda activate opencompass
pip install torch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 --index-url https://download.pytorch.org/whl/cu121
pip install protobuf==4.25.3
cd L1_compass # 本期作业的工作目录，嘿嘿
git clone -b 0.3.3 https://github.com/open-compass/opencompass
cd opencompass
pip install -e .
pip install -r requirements.txt
pip install