【论文解读】大模型算法发展

一、简要介绍

论文研究了自深度学习出现以来，预训练语言模型的算法的改进速度。使用Wikitext和Penn Treebank上超过200个语言模型评估的数据集(2012-2023年)，论文发现达到设定性能阈值所需的计算大约每8个月减半一次，95%置信区间约为5到14个月，大大快于摩尔定律下的硬件增益。论文估计了增强的scaling law，这使论文能够量化算法的进展，并确定scaling模型与训练算法中的创新的相对贡献。尽管算法的快速发展和transformer等新架构的发展，在这段时间内，计算量的增加对整体性能的提高做出了更大的贡献。虽然受到有噪声的基准数据的限制，但论文的分析量化了语言建模的快速进展，揭示了计算和算法的相对贡献。

二、方法论

2.1模型定义

论文希望估计更新的语言模型能够比旧的模型更有效地达到一定性能水平的速率。论文通过拟合一个模型，满足两个关键需求： (1)该模型必须与之前关于神经scaling law的工作广泛一致，和(2)该模型应该允许分解对提高性能的主要贡献者，例如改进模型中的数据或自由参数的使用效率。

2.2估算方法

2.2.1模型选择

论文在语言模型评估数据集上估计了公式(3)中提出的增广scaling law的变量。论文执行广泛的交叉验证练习，以确定最适合数据的模型的变体。本练习的目的是考虑捕获不同效果的不同模型（例如，不同模型架构之间的不同scaling行为、不同形式的算法进展等）。

论文试图在交叉验证分析中解释这种可能性。特别地，论文引入了三个模型（模型13到15），它们解释了不同类型的scaling指数，包括指数随时间变化的可能性。论文选择的主模型（模型7）在交叉验证中优于这些模型，但这些替代方案也表现出同样的效果，通常R2在0.88到0.91之间。这个分析在附录J中有更详细的描述。 论文还考虑了其他可能影响测量的困惑的因素，从而测量算法进展的速度。例如，在某些情况下，预处理过程中不同的标记化方案可以改善WT103的困惑，多个epoch的训练模型是提高性能的常见方法。论文发现，当改变这些自由度时，论文的核心结果是大致相同的——论文在附录中提供了关于这些实验的更多细节。 最后，为了解释模型规范中的不确定性，论文比较了在交叉验证分析中考虑的不同模型的模型预测。 2.2.2数据 论文的数据集包含超过400种语言模型，在 WikiText-103 (WT103), WikiText-2