Inadequacies of Large Language Model Benchmarks in the Era of Generative Artificial Intelligence

本文是LLM系列文章，针对《Inadequacies of Large Language Model Benchmarks in the Era of Generative Artificial Intelligence》的翻译。

摘要

具有新兴功能的大型语言模型（LLM）的迅速流行激发了公众对评估和比较不同LLM的好奇心，导致许多研究人员提出了他们的LLM基准。注意到这些基准的初步不足，我们开始了一项研究，在功能和安全的支柱下，通过人员、流程和技术的视角，使用我们新颖的统一评估框架，对23个最先进的LLM基准进行批判性评估。我们的研究发现了重大的局限性，包括偏见、难以衡量真正的推理、适应性、实施不一致性、提示工程的复杂性、评估者的多样性，以及在一次全面评估中忽视文化和意识形态规范。我们的讨论强调迫切需要标准化的方法、监管确定性和基于人工智能（AI）进步的道德准则，包括倡导从静态基准到动态行为分析的演变，以准确捕捉LLM的复杂行为和潜在风险。我们的研究强调了LLM评估方法范式转变的必要性，强调了合作努力对制定普遍接受的基准和加强人工智能系统融入社会的重要性。

1 引言

2 背景和相关工作

3 LLM基准的统一评估框架

4 技术方面

5 程序性要素

6 人类动态性

7 讨论

8 结论

这项研究对LLM基准中的主流方法进行了严格的检查，发现了跨越技术、过程和人类动力学的重大不足，这可能会破坏这些基准的准确性、全面性和安全性。与汽车和航空行业中严格的、共识驱动的基准实践不同，