笔记--OpenCompass 大模型评测

OpenCompass提供设计一套全面、高效、可拓展的大模型评测方案，对模型能力、性能、安全性等进行全方位的评估。OpenCompass提供分布式自动化的评测系统，支持对(语言/多模态)大模型开展全面系统的能力评估。

本节参考文档为：OpenCompass 大模型评测

视频教程为：OpenCompass 大模型评测

OpenCompass介绍

LLM以及AIGC有非常多的场景和各种各样的模型对于这些不同的模型需要建立—个统一的评测方式进行评测。模型评测会涉及以下三个问题：

目前常见的任务场景：text-to-text，text-to-task，text-to-image，text-to-video，text-to-3D

对不同的用户群体都有评测的需求，评测作用：明智模型边界，指导模型提升

评测什么，不同任务评测指标不同，总结如下图：

两类不同的模型：基座模型prompt+额外的instruct,对话模型：直接采用跟人类对话的方式来进行评测

评测方式：客观评测和主观评测

客观评测：基于row base的评测方式，问答题，多选题，判断题，分类题

主观评测：依靠人工来评测不现实的，依靠自动化GPT-4的方式用模型来评价模型

也可以通过prominent engineering的方式去测试，如果多种形式的prompt都可以答对则说明鲁棒性较好

主流大模型评测框架

OpenCompass唯—一个国内开发的大模型的评测体系

OpenCompass开源评测平台架构

OpenCompass丰富的模型支持

OpenCompass评测流水线设计：方便个人用户模型的开发评测

大模型能力对比

OpenCompass在多模态、法律领域、医疗领域等方面的前沿探索

大模型评测领域的挑战：