【书生·浦语】大模型实战营—— OpenCompass 大模型评测

模型评测     

        模型评测是指对真实应用场景下模型能力提升效果的测评，可以从模型知识、推理、语言长文本、智能体、多轮对话情感、认知、价值观等方面入手。一般来说可以通过自动化客观评测、人机交互评测以及基于大模型的评测进行评测。

评测原因

评测内容

评测方法

        大模型评测根据模型类别有不同的方法。一般来说大模型可以分为只经过预训练的基座模型以及经过了SFT 或者RHF的对话模型 。针对基座模型评测时，需要在prompt中加上一些额外的isntruct。对话模型直接采用和人类对话的方式来进行评测即可。

• ​​​​​​基座模型：一般是经过海量的文本数据以自监督学习的方式进行训练获得的模型（如OpenAI的GPT-3，Meta的LLaMA），往往具有强大的文字续写能力。
• 对话模型：一般是在的基座模型的基础上，经过指令微调或人类偏好对齐获得的模型（如OpenAI的ChatGPT、上海人工智能实验室的书生·浦语），能理解人类指令，具有较强的对话能力。

        根据评测的方式可以分为主观评测和客观评测。

• 主观评测：人工评价
• 客观评测：问答题、选择题、判断题等

提示词工程

        如果提示词换了，模型输出错误，只能说明模型的鲁棒性很差。

主流的评测框架

OpenCompass 能力框架

大模型评测的挑战