如何对大模型进行评估上

 大模型评估指标

  对于AI大模型，可以从哪些方面来进行评估呢？要进行大模型评估，首先需要熟悉有哪些评估指标。大模型有哪些评估指标呢？先从查看开源大模型的官网开始，看看开源大模型给出了哪些评估指标数据。下图是Qwen、Llama的评估指标

下图是Qwen官网给出的评估指标数据，可以看到，Qwen用了多个数据集对大模型进行了评估。

Llama官网给出的评估指标数据，主要是针对代码编写能力，这里使用了HumanEval,MBPP和Multingual Human Eval指标。

那么上面的各项指标具体代表什么含义呢？背后使用了什么数据集进行评估呢？接下来将一一介绍。

评估指标含义

MMLU：mmlu数据集包含来自各个知识领域的多项选择题。该数据集涵盖了人文学科、社会科学、自然科学以及其他一些对某些人学习至关重要的领域。数据集包括57个任务，其中包括初等数学、美国历史、计算机科学、法律等内容。通过这个数据集可以评估大模型在不同领域的推理能力。