Performance Law of Large Language Models

本文是LLM系列文章，针对《Performance Law of Large Language Models》的翻译。

摘要

在缩放定律信念的指导下，大型语言模型（LLM）近年来取得了令人印象深刻的表现。然而，缩放定律仅给出损失的定性估计，其受到模型架构、数据分布、分词器和计算精度等多种因素的影响。因此，估计LLM在不同训练环境下的真实表现而不是损失可能在实际开发中非常有用。在本文中，我们提出了一个名为“性能定律”的经验方程来直接预测LLM的MMLU 分数，这是一种广泛使用的指标，用于指示LLM在现实世界对话和应用中的一般能力。仅基于LLM架构的几个关键超参数和训练数据的大小，我们就可以对不同组织在不同年份开发的各种不同规模和架构的LLM进行相当准确的MMLU预测。性能定律可以用来指导LLM架构的选择和计算资源的有效分配，而无需进行大量的实验。

1 引言

2 性能规律

3 应用及意义

4 讨论

5 结论

在本文中，我们提出了LLM的表现法则，可以准确预测他们在 MMLU 评估中的表现。我们发现实际结果与我们对发布年份、模型大小和开发人员的预测之间存在令人惊讶的相关性。我们根据我们的预测进一步