A Survey on Large Language Model Benchmarks

《A Survey on Large Language Model Benchmarks》总结与翻译

一、文章主要内容

该文章是首篇针对大型语言模型（LLM）基准的系统性综述，系统梳理了LLM基准的现状与发展，将283个代表性基准划分为通用能力基准、特定领域基准和特定目标基准三大类，深入分析各类基准的设计动机、局限性，并指出当前基准存在的关键问题，同时为未来基准创新提供可参考的设计范式。

1. 背景与基础

• LLM发展历程：从1950年代香农的n-gram模型，历经统计语言模型、神经语言模型（如循环神经网络），发展到预训练语言模型（如BERT、GPT系列），再到如今参数达数十亿/万亿级、具备少样本学习和上下文学习等涌现能力的LLM，其已广泛渗透到智能客服、教育、医疗等多领域。
• LLM基准的重要性：作为模型性能的定量评估工具，基准不仅是衡量模型能力的核心手段，也是引导模型发展方向、推动技术创新的关键要素。早期以GLUE、SuperGLUE为代表的基准聚焦单一自然语言理解任务，而LLM时代的基准需应对模型参数指数级增长、能力维度从单任务扩展到多任务多领域、评估范式从固定任务转向动态适应等新变化。

2. 三大类基准详细梳理