LLM评测范式与方法

    为了有效地评估大语言模型的性能，一种主流的途径就是选择不同的能力维度并且构建对应的评测任务，进而使用这些能力维度的评测任务对模型的性能进行测试与对比。可供选择的能力维度包括但不限于本书所介绍的基础能力和高级能力。根据评测方式的不同，针对上述能力维度的评估方法可以分为三种方式：基于评测基准的方法、基于人类评估的方法和基于模型评估的方法。为了更为准确、系统地介绍大模型的评测方法，本节进一步根据研发方式将大语言模型划分为两种主要类型：第一类是基础大语言模型，这类模型仅经过预训练，未经任何特定任务的适配；第二类是微调大语言模型，这类模型在预训练的基础上，针对特定指令或对齐需求进行了微调。下表列举了不同评测方法的典型工作。在接下来的章节中，将分别探讨两类大语言模型的具体评测方法及其在实践中的应用。

评测方法及其典型评测工作

基础大语言模型的评测

    基础大语言模型，即经过预训练获得的模型。它们通常具备丰富的世界知识与通用的语言能力，是后续研发各类大语言模型及其应用的基础。在评测这类模型时，主要关注其基础能力，典型的能力包括复杂推理、知识利用等。由于这些基础能力可以通过明确定义的任务来进行有效评测，因此基于