Scaling Data-Constrained Language Models

本文是LLM系列文章，针对《Scaling Data-Constrained Language Models》的翻译。

摘要

当前缩放语言模型的趋势包括增加参数计数和训练数据集大小。推断这一趋势表明，训练数据集的大小可能很快就会受到互联网上可用文本数据量的限制。受此限制，我们研究了数据约束条件下的缩放语言模型。具体来说，我们运行了一大组实验，改变了数据重复的程度和计算预算，范围高达9000亿个训练token和90亿个参数模型。我们发现，对于固定计算预算的受限数据，与具有唯一数据相比，使用多达4个时期的重复数据进行训练所产生的损失变化可以忽略不计。然而，随着更多的重复，加法计算的值最终会衰减为零。我们提出并实证验证了计算最优性的比例律，该比例律考虑了重复token和多余参数的递减值。最后，我们试验了缓解数据稀缺性的方法，包括用代码数据扩充训练数据集或删除常用的过滤器。我们400次训练跑的模型和数据集在https://github.com/huggingface/datablations可用。

1 引言

2 背景

3 方法：数据约束缩放律

4 实验设置

5 结果：数据约束伸缩的资源分配

6 结果：数据约束扩展的资源回报

7 结果：获取额外数据的补充策略

8 相关工作