使用opencompass验证模型效果

ToTensor

已于 2023-12-14 09:19:59 修改

阅读量780

点赞数

分类专栏：大模型通关打怪之旅文章标签：人工智能

于 2023-12-13 18:26:39 首次发布

本文链接：https://blog.youkuaiyun.com/qq_44193969/article/details/134979054

版权

大模型通关打怪之旅专栏收录该内容

13 篇文章 ¥99.90 ¥299.90

订阅专栏

本文介绍了如何使用OpenCompass验证模型效果。首先，按照官方仓库搭建环境并使用demo测试。接着，针对代码中出现的问题进行修改，包括设置模型名称、参数调整等。在第二步，修改特定函数以适应模型需求。最后，更新路由确保正确执行。验证结果显示模型的准确率为82.93%。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

准备环境

使用fastchat部署的openai api server模型

官方仓库：https://github.com/open-compass/opencompass

1、git clone https://github.com/open-compass/opencompass opencompass
2、cd opencompass
3、pip install -e .
4、wget https://github.com/open-compass/opencompass/releases/download/0.1.8.rc1/OpenCompassData-complete-20231110.zip
5、unzip OpenCompassData