Scaling Laws with Vocabulary: Larger Models Deserve Larger Vocabularies

本文是LLM系列文章，针对《Scaling Laws with Vocabulary: Larger Models Deserve Larger Vocabularies》的翻译。

摘要

对扩展大型语言模型（LLMs）的研究主要集中在模型参数和训练数据大小上，忽视了词汇量的作用。我们通过训练具有各种词汇配置的多达500B字符的33M到3B参数的模型，研究了词汇量大小如何影响LLM缩放规律。我们提出了三种互补的方法来预测计算最优词汇量：IsoFLOPs分析、导数估计和损失函数的参数拟合。我们的方法都得出了相同的结果，即最佳词汇量取决于可用的计算预算，而较大的模型需要更大的词汇量。然而，大多数LLM使用的词汇量太小。例如，我们预测Llama2-70B的最佳词汇量应至少为216K，是其32K词汇量的7倍。我们通过在不同FLOP预算下使用3B参数训练模型来实证验证我们的预测。与常用的词汇量相比，采用我们预测的最佳词汇量可以持续提高下游性能。通过将词汇量从传统的32K增加到43K，我们在相同的2.3e21 FLOP下将ARC Challenge的性能从29.1提高到32.0。我们的工作强调了共同考虑模型参数和词汇量以实现有效缩放的必要性。

1 引言

2 前言

3 分析：为什么最佳词汇量受到计算的限制

4 估计最优词汇量

5 讨论

6 相关工作

7 结论

我们研究了在缩放语言模型时词汇量的影响。我们分析并验证了在给定的FLOP预算下存在一个最佳词汇量。随后，我们开发了3种方法来预测最佳词汇量。