Performance Law of Large Language Models

本文是LLM系列文章，针对《Performance Law of Large Language Models》的翻译。

摘要

在缩放定律信念的指导下，大型语言模型（LLM）近年来取得了令人印象深刻的表现。然而，缩放定律仅给出损失的定性估计，其受到模型架构、数据分布、分词器和计算精度等多种因素的影响。因此，估计LLM在不同训练环境下的真实表现而不是损失可能在实际开发中非常有用。在本文中，我们提出了一个名为“性能定律”的经验方程来直接预测LLM的MMLU 分数，这是一种广泛使用的指标，用于指示LLM在现实世界对话和应用中的一般能力。仅基于LLM架构的几个关键超参数和训练数据的大小，我们就可以对不同组织在不同年份开发的各种不同规模和架构的LLM进行相当准确的MMLU预测。性能定律可以用来指导LLM架构的选择和计算资源的有效分配，而无需进行大量的实验。

1 引言

2 性能规律