『大模型笔记』大模型中的Scaling Law(规模法则)

已于 2024-03-07 15:46:06 修改
阅读量3.7k 收藏
点赞数
分类专栏： 大模型笔记 文章标签： gpt OpenAI Scaling Law LLM
于 2024-03-07 14:39:44 首次发布
引用请附上作者博客链接https://zhangkaifang.blog.youkuaiyun.com/，谢谢理解！
本文链接：https://blog.youkuaiyun.com/abc13526222160/article/details/136527991
版权
本文探讨了Scaling Laws在大模型中的作用，指出模型性能与参数量、数据大小和计算量的幂律关系。OpenAI的论文显示，对于Decoder-only模型，性能主要取决于这三者，而非具体结构。Scaling Law适用于多种模态任务，但前提是使用标准的transformer结构。随着资源增加，性能提升遵循边际效应递减的幂律规律。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

大模型中的Scaling Law(规模法则)

文章目录

  • Scaling Laws简单介绍就是：随着模型参数量大小、数据集大小和用于训练的浮点数计算量的增加，模型的性能会提高。并且为了获得最佳性能，所有三个因素必须同时放大。当不受其他两个因素的制约时，模型性能与每个单独的因素都有幂律关系。

一. 核心结论

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【人工智能】为什么说大语言模型能力遵循规模理论 Scaling Law（即模型能力随着训练计算量增加而提升） ？
AI天才研究院
04-20 1万+
GPU 是当前 AI 训练的主要算力来源，IDC 估计当前有 90% 的 AI 服务器采用 GPU， 而 Nvidia 和 AMD 在 GPU 的市占率分别高达 80% 和 20%。ASIC 能够获得剩下的 10% 的市场，并随着技术成熟可能达到 20% ，主要可以分为保守路线和激进路线：云计算厂商（比如谷歌和 AWS）通常采用保守路线，将 GPU 中有的图像和高精度(FP64 通常占芯片面积的 10-20%，但训练和推理并不需要高精度)计算单元砍掉，在相同成本下塞入更多的中低精度计算单元；
大模型中Transformer 模型的基础演算《Scaling Laws for Neural Language Models》
强化学习曾小健
09-21 887
EleutherAI 的工程师们经常使用上述启发式方法规划高效的模型训练以及调试分布式运行。我们希望澄清这些经常被忽视的实现细节。其他人都在看。
大语言模型中的第一性原理：Scaling laws
qq_32907491的博客
05-04 1万+
尺度定律（Scaling laws）是一种描述系统随着规模的变化而发生的规律性变化的数学表达。这些规律通常表现为一些可测量的特征随着系统大小的增加而呈现出一种固定的比例关系。尺度定律在不同学科领域中都有广泛的应用，包括物理学、生物学、经济学等。有趣的是，OpenAI的研究者在2020年发现，大语言模型也遵循着尺度定律[1]。大语言模型的尺度定律描述的是模型的性能 𝐿 ，模型的参数量大小 𝑁 ，训练模型的数据大小 𝐷 以及训练模型使用的计算量 𝐶 之间的关系。
大模型的scaling laws：Scaling Laws for Neural Language Models
最新发布
lovep1的博客
04-28 838
1、Loss与模型size、数据集大小以及用于训练的计算量呈幂律关系 其他架构细节，如网络宽度或深度，在较宽范围内影响极小 2、简单的公式可以描述过拟合与模型/数据集大小的依赖关系，以及训练速度与模型大小的依赖关系 3、作用：固定计算预算的最优分配。更大的模型显著更样本高效 4、记住标红的小节结论就行了，重要的是结论和学习如何做消融实验的思路
解析大模型中的Scaling Law
热门推荐
zenRRan的博客
11-21 1万+
写在前面来自：NLP工作站nice！这是一个快速了解LLM时代下最新研究的学术分享平台今天给大家带来一篇《解析大模型中的Scaling Law》，来自知乎@nghuyong知乎：https://zhuanlan.zhihu.com/p/667489780在大模型的研发中，通常会有下面一些需求：计划训练一个10B的模型，想知道至少需要多大的数据？收集到了1T的数据，想知道能训练一个多大的模型？老板准...
什么是大模型中的Scaling Law
Hello World
11-17 795
大模型中的Scaling Law（规模定律或缩放定律）是一种描述模型性能如何随着模型大小（如参数数量）、数据集大小和计算资源的增加而变化的理论工具。通过数学推导和实验验证，研究者得出了一些关于大模型性能与规模之间关系的定量规律，为大模型的设计和训练提供了理论指导。这意味着，随着模型大小、数据集大小和用于训练的计算量的增加，语言建模性能得到了提升。总的来说，Scaling Law是理解和预测大模型性能表现的重要工具，它帮助研究者在模型设计和训练中做出更合理的决策。
Scaling Law：大模型背后的神秘“成长法则”
m0_56255097的博客
01-22 3813
ScalingLaw，也称为缩放定律或规模定律，是描述模型性能如何随着模型规模（如参数数量）、训练数据集大小以及用于训练的计算资源增加而提升的一组经验法则。它在人工智能领域，尤其是大模型的开发中，扮演着至关重要的角色。ScalingLaw的起源可以追溯到2017年百度硅谷人工智能实验室的研究。当时，百度的研究团队在论文《深度学习缩放可预测性的实证研究》中，首次系统地探讨了模型性能与规模之间的关系，发现模型的泛化误差与模型大小和数据集大小之间存在幂律关系。这一发现为后续的大模型研究奠定了基础。
Scaling Law
百态老人的博客
11-17 1142
Scaling Law，又称规模定律、缩放定律或尺度定律。在人工智能领域，Scaling Law通常用来描述模型性能如何随着模型大小（如参数数量）、数据集大小和计算资源的增加而变化，并且这些变化通常遵循幂律关系。例如，腾讯发布的市场上最大的开源 MoE 模型——Hunyuan-Large，其背后的 Scaling Law 公式为：C≈9.59ND+2.3×10⁸D，为我们理解 MoE 模型的性能瓶颈和资源配置提供了全新视角。在大模型的发展中，Scaling Law 起着重要作用。
『大模型笔记』Jason Wei: 大语言模型的扩展范式！
AI新视界
02-17 424
Jason Wei: 大语言模型的扩展范式！
『大模型笔记』5 种人工智能公司(大模型领域)！
AI新视界
06-20 444
如果你没有时间，如果你想马上停止观看这个视频，那你需要知道的重点部分就是这个：什么是FACES框架？FACES框架实际上是反向开始的。F-A-C-E-S。在底层，我们有基础模型创新者（foundational model innovators）。这些人是构建基础模型的人。然后，我们有自适应微调者（adaptive fine tuners），他们在这些基础模型上进行构建。接着是便捷的API提供者和API包装器（convenient API providers and API wrappers）。
大语言模型生成式AI学习笔记——1. 2.4LLM预训练和缩放法则——​​​​​​​缩放法则和计算优化模型
预见未来to50的专栏
04-26 1088
如果你固定你的计算预算，那么你用来提高模型性能的两个杠杆就是你的训练数据集的大小和模型中的参数数量。Chinchilla论文的一个重要结论是，对于给定的模型，最优的训练数据集大小大约是模型参数数量的20倍。Chinchilla论文暗示，许多像GPT-3这样的1000亿参数大型语言模型实际上可能是过度参数化的，意味着它们的参数超过了很好地理解语言所需的数量，也不是因为训练不足（undertrained）而需要更多训练数据。作者假设，如果训练在更大的数据集上，较小的模型可能能够达到与更大的模型相同的性能。
Scaling Law（缩放定律）
百态老人的博客
12-19 1767
Scaling Law（缩放定律）是人工智能和机器学习领域中描述模型性能如何随着模型规模（如参数数量）、训练数据量和计算资源增加而提升的一组经验法则。缩放定律的核心思想是，模型的性能与模型大小、数据集大小和计算量之间存在可预测的关系，通常表现为幂律关系。Scaling Law 在实际应用中具有重要意义，它不仅帮助研究者和工程师在资源有限的情况下做出合理的权衡，还为设计和优化大规模深度学习模型提供了指导原则。
什么是大模型的Scaling Raw？
学习与分享人工智能技术
12-23 1323
本文介绍了大模型Scaling Law的概念及其核心要点。
【有啥问啥】浅谈Scaling Law
Chauvin的博客
07-15 2284
在机器学习和深度学习领域，（扩展定律）描述了模型性能（如准确率、损失等）如何随着模型规模（参数数量）、数据量和计算资源（如计算时间、显存等）的变化而变化。这些定律有助于研究人员和工程师理解如何有效地扩展模型以获得更好的性能。在深度学习的早期阶段，人们主要通过经验和试验来确定模型规模和训练数据量。然而，随着模型和数据集的不断增大，这种试验的方法变得越来越昂贵和耗时。因此，理解和应用扩展定律变得越来越重要，它可以帮助我们预估模型性能，合理规划资源。扩展定律为我们提供了理解模型性能如何随规模变化的理论基础。
Scaling Law解析
zzfive的博客
04-06 2415
幂律规律有失灵的情况，即大模型中的涌现，前期算力增加，模型性能是按上述分析的规律逐渐提高，但是当算力提高到一定程度后，模型性能会突然陡增，目前来话，幂律规律只在涌现发生前有效，当具体算力提升到多少会发生涌现，目前还不知道，只能通过实践后统计发现，但一定会发生涌现。固定住计算量，随着计算量的增大，对应的最优模型参数量也越来越大，对应的最优数据量也越来越大，在对数域看就是成线性关系。不同模型架构可能也符合幂律关系，如上图中的LSTMs，同样参数量时，transformers的性能比LSTMs更好。
人工智能领域的 Scaling Law 详解
2007 年 ~ 2025 年，深耕 SAP 技术 18 年
11-13 2652
Scaling law 描述的是在深度学习系统中，模型性能（如损失函数值）随着资源（如模型参数、训练数据量、计算力等）扩展而呈现的趋势。在人工智能研究的早期，训练模型往往需要在诸多超参数之间反复尝试，而 Scaling law 提供了指导如何扩展这些参数的经验公式，使模型达到更好的性能。基于这一理论，我们可以预测模型性能在增加某些资源时的变化，并规划出最具成本效益的扩展策略。这类扩展定律在近些年尤为重要，特别是在大语言模型（如 GPT-3、GPT-4）的训练中。
大家都谈的Scaling Law是什么?
深数研究院
09-06 7801
一个农场里有一群火鸡，农场主每天中午十一点来给它们喂食。火鸡中的一名科学家观察到这个现象，一直观察了近一年都没有例外，于是它也发现了自己宇宙中的伟大定律：“每天上午十一点，就有食物降临。”它在感恩节早晨向火鸡们公布了这个定律，但这天上午十一点食物没有降临，农场主进来把它们都捉去杀了。
什么是scaling laws？
agito_cheung的博客
02-16 1682
Scaling Laws 由 OpenAI 在 2020 年的论文《Scaling Laws for Neural Language Models》中首次系统提出，通过实验发现语言模型的性能（如测试损失）与模型参数规模、训练数据量、计算量之间存在幂律关系（Power Law）。Scaling Laws 是大模型时代的“导航图”，揭示了规模扩展对性能提升的重要性，但也需结合数据质量、架构创新和实际约束综合考量。未来的突破可能来自对缩放规律的更精细理解（如稀疏模型、多模态扩展），而非单纯追求参数量的增长。
大模型 Scaling Law 的本质是工业化思维，Token 工厂，Token 生意
叶庭云 成为自己的光
06-19 1295
大模型 Scaling Law 的本质是工业化思维，Token 工厂，Token 生意
理解大规模模型的Scaling Law：性能与数据、计算量的关系
"CS324课程大模型中的Scaling Law(规模法则)课件，探讨了在人工智能和自然语言处理领域，大规模模型性能与其参数量、数据集大小和计算量之间的关系。Scaling Law指出，为了达到最佳性能，模型的参数、数据和计算资源...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI大模型前沿研究

感谢您的打赏，我会继续努力！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值