小周带你读论文之语言模型的进阶Scaling Laws 幂律，（参数/数据量/算力的最优解）

最新推荐文章于 2025-06-28 10:51:14 发布
原创 最新推荐文章于 2025-06-28 10:51:14 发布 · 1.1k 阅读 · 9 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#语言模型 #人工智能 #自然语言处理

本文探讨了在语言模型训练中，参数量、数据量和算力之间的幂律关系。通过公式C=6*N*D，解释了模型性能与资源的平衡点。在固定算力下，如何选择模型参数与训练数据量以达到最佳性能，以及不同数据集和模型架构对结果的影响。同时，文章指出OpenAI和Deepmind对于模型和数据量的最优解有不同的理解，强调在实践中需要根据自身数据质量调整策略。

1,2,3上链接：2001.08361.pdf (arxiv.org)

      幂律：所谓幂律，是说节点具有的连线数和这样的节点数目乘积是一个定值，也就是几何平均是定值，比如有10000个连线的大节点有10个，有1000个连线的中节点有100个，100个连线的小节点有1000个……，在对数坐标上画出来会得到一条斜向下的直线。

      我们这篇文章主要针对以下场景和问题：

  • 给定你一个7B模型，你知道用多大的数据量train，它能最优？

  • 给顶你一个0.5T token的数据，我需要用多大的参数的模型能最优？

  • 以上两点需要考虑算力吗？如果算力恒定该怎么考虑

  • 我的数据从0.5T上升到了1.5T，需要更多的数据还是更少的数据能达到相同的效果？

    讲这些问题之前，我们先明白一个公式：

C=6*N*D

  • C：算力的大小（Tflops），不算embedding

  • N：模型的parameters数量，也就是参数量，不算embedding

  • D：进入模型的训练Token数量

     为什么会有6ND这个说法呢？

     又得上这张老图

图片

      实际上你深度学习每次前向计算，就是算矩阵乘法，矩阵乘法就是一次加一次乘，一个parameters，要对应2次浮点计算，所以要乘以2

图片

       而我们做反向求导的时候呢，你又得算误差又得算新weight，所以是前向计算的两倍，这就是要乘以4

       两种计算加起来就是每个参数在做深度学习的时候要计算6次浮点运算的原因

最低0.47元/天 解锁文章
周博洋K
关注
【人工智能】为什么说大语言模型能力遵循规模理论 Scaling Law（即模型能力随着训练计算量增加而提升） ？
AI天才研究院
04-20 1万+
GPU 是当前 AI 训练的主要算力来源，IDC 估计当前有 90% 的 AI 服务器采用 GPU， 而 Nvidia 和 AMD 在 GPU 的市占率分别高达 80% 和 20%。ASIC 能够获得剩下的 10% 的市场，并随着技术成熟可能达到 20% ，主要可以分为保守路线和激进路线：云计算厂商（比如谷歌和 AWS）通常采用保守路线，将 GPU 中有的图像和高精度(FP64 通常占芯片面积的 10-20%，但训练和推理并不需要高精度)计算单元砍掉，在相同成本下塞入更多的中低精度计算单元；
论文阅读：LLM：Scaling Laws for Neural Language Models （上）
微风❤水墨
01-15 2799
当我们在与模型训练数据分布不同的文本上评估模型时，结果与在训练验证集上的结果有强烈的相关性，但损失的偏移约为常数 - 换句话说，转移到不同的分布会产生一个常数的惩罚，但除此之外，性能大致与在训练集上的性能一致。但是，如果我们只固定N、D中的一个，而增加另一个规模，就会出现回报递减的情况。在WebText2数据集上训练的模型，在其他各种数据集上的测试损失也是 N 的幂律，且幂律几乎相同，如上图所示。4：更大的模型显著地更具样本效率，因此，在相对较小的数据量上训练非常大的模型并在收敛之前显著地停止。
Scaling Law
百态老人的博客
11-17 1484
Scaling Law，又称规模定律、缩放定律或尺度定律。在人工智能领域，Scaling Law通常用来描述模型性能如何随着模型大小（如参数数量）、数据集大小和计算资源的增加而变化，并且这些变化通常遵循幂律关系。例如，腾讯发布的市场上最大的开源 MoE 模型——Hunyuan-Large，其背后的 Scaling Law 公式为：C≈9.59ND+2.3×10⁸D，为我们理解 MoE 模型的性能瓶颈和资源配置提供了全新视角。在大模型的发展中，Scaling Law 起着重要作用。
OpenAI与DeepMind的Scaling Laws之争
2401_82452722的博客
01-05 2139
大模型的参数量和训练数据量到底哪个更重要？
什么是大模型的三大缩放定律？一篇讲清楚
最新发布
2401_85375186的博客
06-28 1302
就像自然界中存在的经验法则，例如“物体上升必定下落”或“给物体施加作用力必定伴随反作用力”；在大模型方面也存在这么一个经验法则：更多的算力、数据以及模型参数也会得到优秀的模型。
Scaling Law（缩放定律）
百态老人的博客
12-19 2182
Scaling Law（缩放定律）是人工智能和机器学习领域中描述模型性能如何随着模型规模（如参数数量）、训练数据量和计算资源增加而提升的一组经验法则。缩放定律的核心思想是，模型的性能与模型大小、数据集大小和计算量之间存在可预测的关系，通常表现为幂律关系。Scaling Law 在实际应用中具有重要意义，它不仅帮助研究者和工程师在资源有限的情况下做出合理的权衡，还为设计和优化大规模深度学习模型提供了指导原则。
【论文阅读】Scaling Laws for Neural Language Models（2020）- 大模型预训练参数量、数据集大小、计算资源之间的关系验证
weixin_36488653的博客
07-02 2443
大模型效果最大程度的依赖于模型规模的大小，模型的规模指的就是NNNDDDCCC共同确定的，在以上规模达到一定的标准后，模型的超参数如宽度和深度对模型效果的影响较为微弱；大模型效果与NNNDDDCCC三个参数都有着独立的power-law关系；同时增加NNNDDD必然会带来大模型效果的提升，但是如果只提升其中一个变量，就会导致过拟合，性能会发生损失，性能损失的比例为N0.74DN^{0.74}/DN0.74D如：模型参数量每提升8倍时，数据量级需要提升至少5倍。
【自然语言处理】【Scaling Law】语言模型物理学 第3.3部分：知识容量Scaling Laws
bqw的博客
05-30 1854
​ Scaling laws描述了模型尺寸与其能力的关系。不同于先前通过loss或者基准来评估模型能力，本文评估模型存储的知识数量。这里主要是关注以元组方式表示的知识，例如(USA, capital, Washington D.C)。通过多个受控数据集，发现每个参数仅能存储2 bit的知识，即使参数量化为8bit也有相同结论。因此，7B模型能够存储14B bit的指数，超过了英文Wikipedia和教科书的总和。
大语言模型从Scaling Laws到MoE
qq_32907491的博客
05-04 1517
而经常被引用的“18个月”，则是由英特尔首席执行官大卫·豪斯（David House）提出：预计18个月会将芯片的性能提高一倍（即更多的晶体管使其更快），是一种以倍数增长的观测。采用 Expert Choice Routing 的模型，相比于GLaM，在收敛速度方面可以提升2倍， 在 step time 上提速20%，并且完美解决了负载不均衡问题。从搜索空间中，采样一组参数，构建一个 100M/32E 的模型，选择top-K的模型，然后进行scaling，如1B/64E 、8B/64E。
『大模型笔记』大模型中的Scaling Law(规模法则)
AI新视界
03-07 4157
大模型中的Scaling Law(规模理论)
【有啥问啥】浅谈Scaling Law
Chauvin的博客
07-15 2456
在机器学习和深度学习领域，（扩展定律）描述了模型性能（如准确率、损失等）如何随着模型规模（参数数量）、数据量和计算资源（如计算时间、显存等）的变化而变化。这些定律有助于研究人员和工程师理解如何有效地扩展模型以获得更好的性能。在深度学习的早期阶段，人们主要通过经验和试验来确定模型规模和训练数据量。然而，随着模型和数据集的不断增大，这种试验的方法变得越来越昂贵和耗时。因此，理解和应用扩展定律变得越来越重要，它可以帮助我们预估模型性能，合理规划资源。扩展定律为我们提供了理解模型性能如何随规模变化的理论基础。
AI大模型底层技术——Scaling Law
Arthur Guo 的专栏
04-08 1600
Scaling Law 是我们目前拥有的、用于导航大型模型开发广阔前景的最可靠地图。它们不是教条，而是强有力的指导原则，随着领域不断推动规模、效率和能力的边界，这些原则也在不断被完善、挑战和扩展。对于任何严肃参与构建或战略部署大规模 AI 的人来说，理解其细微差别至关重要。是描述 AI 模型性能随关键因素（如参数量、数据量、计算量）增长而变化的数学规律，通常表现为幂律关系。
scaling law入门
weixin_40777649的博客
04-29 2330
然后可以进一步获得计算效率最优时，即同样计算量下性能最好的模型规模和数据大小的组合，模型大小与计算量的关系，以及数据大小与计算量的关系。确定了模型的框架以及期望训练的参数后，我们可以在多个比期望参数小的模型上做预训练，并且统计多个实验结果，如GPT3的图所示：随着训练的进行（计算量 C），小的模型出现收敛，大的模型loss也迅速下降。从图3和图4分别得到了模型性能与计算量的关系、计算量与模型大小的关系、计算量与训练的tokens之间的关系。2. 通过压缩定律，以及小模型，预测大模型的性能。
序列模型（4）—— Scaling Laws
佚失的诗篇
01-10 2727
本文介绍 LLM 训练过程中重要的经验规律 Scaling Laws，它可以指导我们如何最大化训练效率，我们还可以借助它通过小规模实验预测大模型的性能表现
Scaling Law：AI领域的摩尔定律
加入“Super Entity”，与全能开发团队共探AI智能体与数字人项目，开启前沿技术之旅。
03-26 952
Scaling Law（缩放定律）描述了大型语言模型（LLM）的性能与模型规模、训练数据量和计算资源之间的关系。具体来说，随着模型参数数量、训练数据规模和计算资源的增加，模型的性能（通常以测试损失来衡量）会按照可预测的幂律关系提升。Scaling Law为理解和优化大型语言模型提供了重要的理论基础。通过合理应用Scaling Law，可以更有效地扩展模型，优化资源分配，并做出准确的性能预测。然而，随着模型规模的扩大，也需要关注边际效益递减和经济压力等问题。
Scaling Law解析
zzfive的博客
04-06 2730
幂律规律有失灵的情况，即大模型中的涌现，前期算力增加，模型性能是按上述分析的规律逐渐提高，但是当算力提高到一定程度后，模型性能会突然陡增，目前来话，幂律规律只在涌现发生前有效，当具体算力提升到多少会发生涌现，目前还不知道，只能通过实践后统计发现，但一定会发生涌现。固定住计算量，随着计算量的增大，对应的最优模型参数量也越来越大，对应的最优数据量也越来越大，在对数域看就是成线性关系。不同模型架构可能也符合幂律关系，如上图中的LSTMs，同样参数量时，transformers的性能比LSTMs更好。
什么是scaling laws？
智能守恒_HengAI
02-16 2365
Scaling Laws 由 OpenAI 在 2020 年的论文《Scaling Laws for Neural Language Models》中首次系统提出，通过实验发现语言模型的性能（如测试损失）与模型参数规模、训练数据量、计算量之间存在幂律关系（Power Law）。Scaling Laws 是大模型时代的“导航图”，揭示了规模扩展对性能提升的重要性，但也需结合数据质量、架构创新和实际约束综合考量。未来的突破可能来自对缩放规律的更精细理解（如稀疏模型、多模态扩展），而非单纯追求参数量的增长。
Scaling Law：大模型背后的神秘“成长法则”
m0_56255097的博客
01-22 4702
ScalingLaw，也称为缩放定律或规模定律，是描述模型性能如何随着模型规模（如参数数量）、训练数据集大小以及用于训练的计算资源增加而提升的一组经验法则。它在人工智能领域，尤其是大模型的开发中，扮演着至关重要的角色。ScalingLaw的起源可以追溯到2017年百度硅谷人工智能实验室的研究。当时，百度的研究团队在论文《深度学习缩放可预测性的实证研究》中，首次系统地探讨了模型性能与规模之间的关系，发现模型的泛化误差与模型大小和数据集大小之间存在幂律关系。这一发现为后续的大模型研究奠定了基础。
什么是Scaling Law？
weixin_44135331的博客
02-21 1239
什么是Scaling Law？
AI大语言模型原理、演进与算力需求深度解析
报告进一步以GPT-3为例，详细拆解了大规模语言模型在参数量、训练数据规模与算力消耗之间的复杂关系。GPT-3拥有高达1750亿参数，其训练过程需处理近万亿token级别的语料库，整个训练周期消耗超过3640 PF-days...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值