Beyond Chinchilla-Optimal: Accounting for Inference in Language Model Scaling Laws

最新推荐文章于 2025-11-24 19:50:57 发布
最新推荐文章于 2025-11-24 19:50:57 发布
阅读量604 收藏 8
点赞数 7
CC 4.0 BY-SA版权
文章标签： 语言模型 机器学习 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/135936772
LLM 日更 专栏收录该内容
828 篇文章

已下架不支持订阅

本文研究大型语言模型（LLM）的缩放定律，指出Chinchilla定律忽略了推理成本。作者修改了Chinchilla定律，以计算在考虑训练和推理成本后的最优模型参数及预训练数据大小。研究发现，对于高推理需求的LLM，最佳模型可能比Chinchilla所建议的更小、训练时间更长。

本文是LLM系列文章，针对《Beyond Chinchilla-Optimal: Accounting for Inference in Language Model Scaling Laws》的翻译。

超越Chinchilla最优：语言模型尺度律中推理的解释

摘要

大型语言模型（LLM）缩放定律是一种经验公式，用于估计由于参数量和训练数据的增加而导致的模型质量的变化。然而，这些公式，包括流行的DeepMind Chinchilla比例定律，忽略了包括推理成本。我们修改Chinchilla缩放定律来计算最优LLM参数计数和预训练数据大小，以训练和部署给定质量和推理需求的模型。我们从计算预算和实际成本两个方面进行了分析，发现LLM研究人员预计会有相当大的推理需求（约1B的请求），应该训练比Chinchilla最优模型更小、更长的模型。

1 引言

2 计算最优化

3 估计真实世界的成本最优性

了解本专栏 已下架不支持订阅
UnknownBody
关注
专栏目录

已下架不支持订阅

LLM-Chinchilla：训练计算利用率最优的大语言模型
u013250861的博客
08-28 399
此外，需要的训练数据远远超过了当前用于训练大模型的数量，在Natural Question数据集中，Chinchilla实现了新的闭卷SOTA准确率：5-shot的31.5%和64-shot的35.5%，相比于Gopher的21%和28%。​ 在最后单词预测数据集LAMBADA上，Chinchilla实现了77.4%的准确率，相比于Gopher的74.5%和MT-NLG 530B的76.6%。因为本文专注在最优的模型尺寸上，我们包含了大量有代表性的子集，并引入了新的评估来更好的与现有的大模型进行比较。
DeepSeek LLM : 使用长期主义扩展开源语言模型 | Scaling Open-Source Language Models with Longtermism
AI天才研究院
02-07 427
DeepSeek LLM 使用长期主义扩展开源语言模型Abstract 摘要开源大型语言模型的快速发展（LLMs）确实令人瞩目。然而，先前文献中描述的扩展定律得出不同的结论，这给扩展 LLMs 投下了阴影。我们深入研究扩展定律，并提出了我们独特的发现，这些发现有助于在两种广泛使用的开源配置（7B 和 67B）中扩展大规模模型。在扩展定律的指导下，我们推出了 DeepSeek LLM 项目，这是一个致力于从长远角度推进开源语言模型的项目。
【自然语言处理】【大模型】Chinchilla：训练计算利用率最优的大语言模型
bqw的博客
03-19 5596
​ 近期出现了一些列的大语言模型(Large Language Models, LLM)，最大的稠密语言模型已经超过了500B的参数。这些大的自回归transformers已经在各个任务上展现出显著效果。​ 训练LLM的计算和能源消耗是巨大的，并且随着模型尺寸的增加而增加。实际中，分配的计算预算是提前知道的：有多少机器可用以及我们想使用它们多久。通常训练LLM只会训练一次，在给定计算预算的情况下准确估计最优模型的超参数是至关重要的。​展示了自回归语言模型的参数数量和其表现有着幂律关联。
LLMs之Gopher/Chinchilla：《Training Compute-Optimal Large Language Models》的翻译与解读
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
04-18 5466
​ LLMs之Chinchilla：《Training Compute-Optimal Large Language Models》的翻译与解读 目录 《Training Compute-Optimal Large Language Models》的翻译与解读 Abstract摘要 1、Introduction引言 2、Related Work相关工作 3、Estimating the optimal parameter/training tokens allocation估
深度长文｜多模态 Scaling Laws 新篇章：Chinchilla 范式已破？数据、模型、算力最优平衡点正在重塑
人工智能学家
04-13 433
选择早期融合，虽然可能意味着更彻底的重构，但它指向的是一条构建更原生、更高效、可能也更“智能”的多模态系统的新路径。Shukor 等人的研究发现，无论是采用早期融合（模型从一开始就处理原始多模态输入）还是晚期融合（类似 LLaVA，连接预训练模块）的 NMMs，其验证损失（L）随着总计算量（C）的增加而下降的速率（指数 c 约为 -0.049），与。等模型的成功所展示的那样，多采用“晚期融合”——将一个强大的预训练视觉编码器（如 CLIP ViT）的输出，“嫁接”到一个预训练 LLM 上。
Chinchilla Scaling Laws
u012632105的博客
09-12 2033
Chinchilla Scaling Laws是一组经验原则，用于指导神经网络模型中参数数量的选择和所需训练数据的数量，以实现最佳性能。这些原则表明，为了使模型达到最佳性能，参数数量应与训练集的大小成正比，而训练集的大小应与参数数量的平方成正比。Chinchilla Scaling Laws以南美洲啮齿动物Chinchilla命名，因为它们是通过观察神经网络大小和训练数据大小与Chinchilla体型之间的关系而得出的。这些原则可以用于优化神经网络性能，同时最小化计算资源和训练时间的使用。
LLMs之FLM-101B：《FLM-101B: An Open LLM and How to Train It with $100K Budget一个开放的LLM和如何用10万美元的预算训练训它》翻
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
09-26 3010
​ LLM之FLM-101B：《FLM-101B: An Open LLM and How to Train It with $100K Budget一个开放的LLM和如何用10万美元的预算训练训它》翻译与解读 目录 《FLM-101B: An Open LLM and How to Train It with $100K Budget》翻译与解读 Abstract摘要 1 Introduction引言 2 Design Overview of FLM-101B—FLM-1
【知识点讲解】模型扩展法则(Scaling Law)与计算最优模型全面解析：从入门到前沿
AI浩
09-05 852
在人工智能快速发展时代，理解模型性能如何随规模增长而变化的规律至关重要。模型扩展法则（Scaling Laws）正是描述AI模型性能随参数量、数据量和计算量变化的数学规律，它揭示了"大力出奇迹"背后的科学原理，并指导我们如何高效分配计算资源。模型最终损失L≈E+A×(参数量)(−α)+B×(数据量)(−β) 模型最终损失 L ≈ E + A × (参数量)^{(-α)} + B × (数据量)^{(-β)} 模型最终损失L≈E+A×(参数量)(−α)+B×(数据量)(−β) 其中 是理论极限损失，、、、
关于最近研究OpenAI o1和“推理Scaling Laws”后的一些个人观点
陌北有棵树的博客
09-23 1300
本篇是《带你自学大语言模型》系列的番外篇，写一些我最近研究OpenAI o1和推理Scaling Laws后的一些个人观点分享。
关于大语言模型的论文和学习资源集合
全网120W+关注AI拉呱，专注人工智能以及科技前沿！
05-14 454
【代码】关于大语言模型的论文和学习资源集合。
小白学大模型：构建LLM的关键步骤
Z4400840的博客
01-09 769
随着大规模语言模型（LLM）在性能、成本和应用前景上的快速发展，越来越多的团队开始探索如何自主训练LLM模型。然而，是否从零开始训练一个LLM，并非每个组织都适合。本文将根据不同的需求与资源，帮助你梳理如何在构建AI算法应用时做出合适的决策。在构建AI算法应用时，首先需要决定是使用现有的商用API，还是开源模型，或者选择完全自主训练一个LLM。每种选择有其独特的优势与劣势。这种方法最适合缺乏深厚技术背景的团队，或者希望尽快构建应用的组织。
Training Compute-Optimal Large Language Models——训练计算最优的大型语言模型
Together_CZ的博客
01-10 929
Training Compute-Optimal Large Language Models——训练计算最优的大型语言模型
线性代数 | 学习启示与策略改进
u013669912的博客
11-23 1274
……
基于学习的人工智能（7）机器学习基本框架
致力于大数据+AI 的应用创新。
11-24 643
如今，人工智能展现出的强大能力——包括人们常谈论的AI 威胁，很大程度上源于机器学习：只有通过自主学习的机器，才有可能超越其创造者，具备难以预料的强大能力。数据：收集苹果和桔子的样本，并分别标记（例如，苹果标记为 T=1，桔子标记为 T=0）。图中的蓝色直线代表模型对应的分类边界，上方为苹果，下方为桔子。机器学习作为实现人工智能的核心方法，通过特定算法从数据中自主学习，获得完成目标任务的技能。模型：构建一个简单模型，如 Y=a × 颜色 + b × 大小，其中 a 和 b 为待学习的参数。
Switch快充方案，内置GaN，集成了多个独立芯片
NAXIANG_TECH的博客
11-24 145
Switch快充方案是一款集快充、拓展坞和投屏功能于一体的多功能解决方案。它采用TYPE-C接口为Switch提供PD60W快充，同时配备USB-A接口和HDMI/4K视频输出，支持多设备充电和投屏功能。内置氮化镓功率器件，各功能互不干扰，USB-A口最大输出5W，HDMI支持4K投屏。该方案兼容PD3.0、QC4等多种协议，支持连接键鼠、U盘等外设，并具备多重安全保护，适用于家庭娱乐、移动办公等多种场景。
DAY 19 常见的特征筛选算法
最新发布
ekprada的博客
11-24 682
想象一下，原始数据（如 data.csv）如同一个人的全部信息，涵盖身高、体重、年龄、收入、爱好、有无车房等几十个特征。特征筛选的目标，是从这众多特征中挑出对解决问题（如预测信用违约）最有用的特征，去除无关紧要甚至有干扰的特征。方差 (Variance)：统计学中，方差衡量一组数据的离散程度或变化范围。方差大：特征数值在不同样本间变化大，波动剧烈。方差小：特征数值在所有样本中相近，几乎无变化。筛选逻辑。
机器学习日报20
2405_85645789的博客
11-24 569
今天深入学习了K-means算法的数学原理和优化过程。通过分析成本函数的构成，我理解了算法如何通过交替优化聚类分配和中心位置来最小化平方距离。具体来说，第一步是将每个点分配到最近的聚类中心，第二步是重新计算聚类中心为所属点的平均值。这种迭代过程能保证成本函数持续下降直至收敛，让我对算法的内在机制有了更清晰的认识。今天的学习让我真正理解了K-means算法背后的数学原理。之前只知道算法步骤，现在明白了每个步骤都是在优化那个平方距离的成本函数。
针刺脑影像个体化预测的稳健机器学习框架与可解释性分析
星空外
11-24 1185
摘要：本文综述了机器学习在脑影像数据分析中的应用进展，重点探讨其在针刺神经机制研究中的转化潜力。研究表明，集成学习与深度学习模型在脑肿瘤分类、卒中预测等任务中展现出优越性能，而特征选择与可解释AI技术（如SHAP、LIME）有效提升了模型的临床适用性。针对针刺研究面临的个体响应异质性挑战，提出需构建融合多模态脑影像与中医证候要素的预测框架，并强调标准化数据采集、稳健特征工程和透明决策机制的重要性。未来应发展闭环式智能调控系统，推动针灸从经验医学向循证医学转化，同时需警惕数据过拟合风险，确保模型的外部效度。
深度学习实战：构建 GAN 生成手写 MNIST 数字
sweet_ran的博客
11-23 829
摘要：本教程将带你从零实现一个基于 PyTorch 的生成对抗网络（GAN），用于生成逼真的手写数字图像。我们将完整复现训练流程、损失曲线可视化和结果展示，帮助你深入理解 GAN 的工作原理。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值