Holistic Evaluation of Language Models

本文是LLM系列文章，针对《Holistic Evaluation of Language Models》的翻译。

摘要

语言模型（LM）正在成为几乎所有主要语言技术的基础，但它们的功能、局限性和风险并没有得到很好的理解。我们提出了语言模型的整体评价（HELM），以提高语言模型的透明度。首先，我们对LM感兴趣的潜在场景（即用例）和度量（即需求）的广阔空间进行分类。然后，我们根据覆盖率和可行性选择一个广泛的子集，注意缺失或代表性不足的部分（例如，被忽视的英语方言的问题回答、可信度指标）。其次，我们采用多指标方法：我们尽可能（87.5%的时间）为16个核心场景中的每一个测量7个指标（准确性、校准、稳健性、公平性、偏差、毒性和效率），确保超出准确性的指标不会半途而废，并确保模型和指标之间的权衡清楚地暴露出来。我们还基于26个有针对性的场景进行了7次有针对性评估，以更深入地分析特定方面（如知识、推理、记忆/版权、虚假信息）。第三，我们对所有42个场景中的30个突出语言模型（跨越开放、有限访问和封闭模型）进行了大规模评估，其中包括21个以前未在主流LM评估中使用的场景。在HELM之前，平均只有17.9%的核心HELM场景对模型进行了评估，一些突出的模型没有共享一个共同的场景。我们将其提高到96.0%：现在，所有30个模型都在标准化条件下的一组核心场景和指标上进行了密集的基准测试。我们的评估涵盖了25个关于不同场景、指标和模型之间相互作用的顶级发现。为了实现完全透明，我们公开发布了所有原始模型提示和完成，以进行进一步分析，并提供了一个通用的模块化工具包，用于轻松添加新的场景、模型、指标和提示策略。我们打算让HELM成为社区的活基准，不断更新新场景、指标和模型。

1 引言

2 前言