LLM Inference Scaling Law

最新推荐文章于 2025-07-14 21:22:16 发布
最新推荐文章于 2025-07-14 21:22:16 发布
阅读量219 收藏
点赞数 2
CC 4.0 BY-SA版权
分类专栏： LLM 文章标签： LLM
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/adreammaker/article/details/143018299
『大模型笔记』谈谈OpenAI o1的价值意义及RL 的Scaling law
AI新视界
09-25 466
大模型笔记』谈谈OpenAI o1的价值意义及RL 的Scaling law。
【人工智能】为什么说大语言模型能力遵循规模理论 Scaling Law（即模型能力随着训练计算量增加而提升） ？
热门推荐
AI天才研究院
04-20 1万+
GPU 是当前 AI 训练的主要算力来源，IDC 估计当前有 90% 的 AI 服务器采用 GPU， 而 Nvidia 和 AMD 在 GPU 的市占率分别高达 80% 和 20%。ASIC 能够获得剩下的 10% 的市场，并随着技术成熟可能达到 20% ，主要可以分为保守路线和激进路线：云计算厂商（比如谷歌和 AWS）通常采用保守路线，将 GPU 中有的图像和高精度(FP64 通常占芯片面积的 10-20%，但训练和推理并不需要高精度)计算单元砍掉，在相同成本下塞入更多的中低精度计算单元；
解密prompt系列40. LLM推理scaling Law
datian1234的博客
11-03 1136
OpenAI的O-1出现前，其实就有已经有大佬开始分析后面OpenAI的技术路线，其中一个方向就是从Pretrain-scaling，Post-Train-scaling向Inference Scaling的转变，这一章我们挑3篇inference-scaling相关的论文来聊聊，前两篇分别从聚合策略和搜索策略来优化广度推理，最后一篇全面的分析了各类广度深度推理策略的最优使用方案。
Scaling law or Scaling LLM Test-Time? Scaling LLM Test-Time介绍
Dar_Alpha的博客
11-23 1225
google的Scaling LLM Test-Time介绍
Google发布最新推理Scaling Law研究，RAG性能更上一层楼
AGI_GGbond的博客
10-18 1068
检索增强生成（RAG）是一种通过引入外部知识来提升语言模型生成效果的方法。简单来说，它不仅依赖模型内部的知识，还会从外部资源中检索到相关信息，这样生成的内容就更有针对性、更有深度。
LLM的范式转移：RL带来新的 Scaling Law
2401_85377976的博客
08-31 1564
从几周前 Sam Altman 在 X 上发布草莓照片开始，整个行业都在期待 OpenAI 发布新模型。根据 The information 的报道，Strawberry 就是之前的 Q-star，其合成数据的方法会大幅提升 LLM 的智能推理能力，尤其体现在数学解题、解字谜、代码生成等复杂推理任务。这个方法也会用在 GPT 系列的提升上，帮助 OpenAI 新一代 Orion。 OpenAI 不是唯一重视 RL 和 Self-Play 的公司，Google 用 AlphaGeometry 2 + A
RL+LLM下新的Scaling Law与挑战
weixin_42619619的博客
09-02 766
如果LLM在"利用"现有知识上做到了现阶段的极致，而在"探索"新知识方面还有很大潜力，RL的引入就是为了让LLM能通过探索进一步提升推理能力，未来在探索与利用间的平衡我想将是理论研究的重点，这方面还很匮乏，当前大多研究者则是在各种策略和价值网络间尝试各变种MCTS下的探索..回顾一年半之前自己关于这方面的一系列思想实验再到今年年初完稿的那边10万字文章《融合RL与LLM思想，探寻世界模型以迈向AGI·上中下篇》，感兴趣的小伙伴可以关注联系我，以往的笔记或文章也多有涉及这一领域并结合前沿论文的观点和阐释。
LLMs：《Scaling Laws for Precision精度感知的缩放定律》翻译与解读
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
11-16 2374
​ LLMs：《Scaling Laws for Precision精度感知的缩放定律》翻译与解读 目录 《Scaling Laws for Precision》翻译与解读 Abstract 1、Introduction 6 Conclusion and Limitations 《Scaling Laws for Precision》翻译与解读 地址 论文地址：https://arxiv.org/abs/2411.04330 时间 2024年1
大模型与无限猴子定律——复杂推理的Repeated Sampling Scaling Law
夏栀的博客
09-24 1174
无限猴子定律也被称为猴子和打字机定理，是一个概率论中的概念，用于阐述随机性和概率的问题。这个定律的基本思想是：如果有一大群猴子随机地敲打打字机的键盘，那么理论上，只要时间足够长，它们最终会打出任何给定的文本，包括莎士比亚的全部著作。提升训练规模和资源有助于LLM的性能，然而在推理（Inference）阶段则通常计算资源很有限，因此本文旨在探索Inference阶段的对生成的sampling数量进行scaling。
【知识】 LLM中的Scaling Laws是什么？
xfxuezhang.cn
03-10 6450
简单学习一下
【LLM】大模型值得探索的十个研究方向
发现问题，并解决问题，批判性思维
06-03 7118
基础理论：大模型的基础理论是什么？网络架构：Transformer是终极框架吗？高效计算：如何使大模型更加高效？高效适配：大模型如何适配到下游任务？可控生成：如何实现大模型的可控生成？安全可信：如何改善大模型中的安全伦理问题？认知学习：如何使大模型获得高级认知能力？创新应用：大模型有哪些创新应用？数据评价：如何评估大模型的性能？易用性：如何降低大模型的使用门槛？
AI原生应用开发：LLM模型选择与优化全攻略
AI天才研究院
07-14 336
本攻略系统解析AI原生应用开发中LLM模型选择与优化的核心方法论，覆盖从基础概念到前沿实践的全流程。通过层次化分析框架（入门→中级→专家），结合理论推导（Transformer架构第一性原理）、工程实践（模型压缩与部署优化）、案例研究（ChatGPT/CodeLlama迭代路径），提供可操作的技术决策指南。重点解决模型适配性评估、成本性能平衡、长期可维护性等关键问题，帮助开发者构建高价值AI原生应用。性能（生成质量/响应速度）vs成本（算力/存储/API调用费）通用性（多任务支持）vs专用性。
基于FPGA的OFDM调制解调Verilog实现及其应用：涵盖IFFTFFT、Testbench及操作录像
07-29
基于FPGA的OFDM调制解调技术的Verilog实现，重点讲解了IFFT和FFT的实现方法，以及Testbench的设计。OFDM作为一种多载波调制技术，能够有效抵抗多径衰落和频率选择性衰落，广泛应用于无线通信和数字电视领域。文中还提供了详细的程序操作录像，帮助用户更好地理解和操作FPGA工程。具体实现过程中，使用Vivado 2019.2及以上版本作为开发工具，确保工程路径为英文路径，并提供完整的操作指南。 适合人群：具备一定FPGA开发经验的研发人员和技术爱好者。 使用场景及目标：适用于希望深入了解OFDM调制解调技术并掌握其实现细节的研究人员和工程师。通过学习本文，读者可以掌握基于FPGA的OFDM调制解调系统的开发流程，包括IFFT和FFT的实现、Testbench设计及实际操作。 其他说明：本文不仅提供了理论知识，还附带了实际的操作录像，使读者能够在实践中加深理解。建议读者跟随录像逐步操作，以便更好地掌握相关技能。
基于BP神经网络与PID控制的Simulink仿真及无刷直流电机控制研究
07-29
基于BP神经网络与PID控制相结合的Simulink仿真方法及其在无刷直流电机控制中的应用。文中首先阐述了BP神经网络的强大非线性映射能力和PID控制的经典反馈机制，解释了两者的结合如何优化PID控制器参数，从而提高控制系统的性能。随后，文章展示了如何使用MATLAB的S函数实现BP神经网络的前向传播过程，并将其集成到Simulink环境中构建完整的控制系统仿真模型。通过具体案例——无刷直流电机控制，演示了系统的设计思路、搭建步骤及其实验结果。实验结果显示，相比传统的PID控制，BP神经网络PID控制在应对复杂工况和参数不确定性方面表现出更快的响应速度和更稳定的性能。 适合人群：自动化专业学生、控制工程领域的研究人员和技术爱好者。 使用场景及目标：适用于希望深入了解BP神经网络与PID控制结合的应用场景，特别是那些需要优化控制系统性能的研究项目。目标是帮助读者掌握Simulink仿真平台的操作技巧，理解BP神经网络的工作原理及其在实际控制任务中的应用。 其他说明：附带详细的说明文档和本科论文，便于初学者快速上手并理解整个系统的原理和实现细节。
基于plc的恒压供水控制系统.doc
最新发布
07-30
基于plc的恒压供水控制系统.doc
西门子Smart PLC 485通讯轮询库程序详解及其应用 PLC 终极版
07-29
内容概要：本文介绍了西门子Smart PLC 485通讯轮询库程序的功能和使用方法。首先简述了轮询库程序的作用，即实现对多个设备的轮询操作，从而集中控制和监测设备状态。接下来详细讲述了代码编写步骤，包括初始化485通讯参数以及轮询设备列表和逻辑处理的具体流程。此外，还深入解析了485通讯中引脚的意义，并强调了代码优化与调试的重要性。最后，提供了一份详细的PDF讲解资料，涵盖代码示例、参数设置、引脚意义等方面的内容，便于使用者快速上手。 适合人群：从事工业自动化领域的工程师和技术人员，尤其是那些对西门子Smart PLC有一定了解的人群。 使用场景及目标：适用于需要利用西门子Smart PLC进行多设备通信和监控的项目。主要目标是让使用者掌握485通讯轮询库程序的编写技巧，提升系统集成能力和故障排查能力。 其他说明：随附的PDF资料为用户提供了一个全面的学习工具，有助于加深对485通讯机制的理解。
langchain4j-community-dashscope-1.0.0-beta2.jar中文文档.zip
07-29
1、压缩文件中包含： 中文文档、jar包下载地址、Maven依赖、Gradle依赖、源代码下载地址。 2、使用方法： 解压最外层zip，再解压其中的zip包，双击 【index.html】 文件，即可用浏览器打开、进行查看。 3、特殊说明： （1）本文档为人性化翻译，精心制作，请放心使用； （2）只翻译了该翻译的内容，如：注释、说明、描述、用法讲解 等； （3）不该翻译的内容保持原样，如：类名、方法名、包名、类型、关键字、代码 等。 4、温馨提示： （1）为了防止解压后路径太长导致浏览器无法打开，推荐在解压时选择“解压到当前文件夹”（放心，自带文件夹，文件不会散落一地）； （2）有时，一套Java组件会有多个jar，所以在下载前，请仔细阅读本篇描述，以确保这就是你需要的文件。 5、本文件关键字： jar中文文档.zip,java,jar包,Maven,第三方jar包,组件,开源组件,第三方组件,Gradle,中文API文档,手册,开发手册,使用手册,参考手册。
langchain4j-spring-boot-starter-0.16.0.jar中文文档.zip
07-29
1、压缩文件中包含： 中文文档、jar包下载地址、Maven依赖、Gradle依赖、源代码下载地址。 2、使用方法： 解压最外层zip，再解压其中的zip包，双击 【index.html】 文件，即可用浏览器打开、进行查看。 3、特殊说明： （1）本文档为人性化翻译，精心制作，请放心使用； （2）只翻译了该翻译的内容，如：注释、说明、描述、用法讲解 等； （3）不该翻译的内容保持原样，如：类名、方法名、包名、类型、关键字、代码 等。 4、温馨提示： （1）为了防止解压后路径太长导致浏览器无法打开，推荐在解压时选择“解压到当前文件夹”（放心，自带文件夹，文件不会散落一地）； （2）有时，一套Java组件会有多个jar，所以在下载前，请仔细阅读本篇描述，以确保这就是你需要的文件。 5、本文件关键字： jar中文文档.zip,java,jar包,Maven,第三方jar包,组件,开源组件,第三方组件,Gradle,中文API文档,手册,开发手册,使用手册,参考手册。
皮克斯电影公司-从《玩具总动员》( 1995年)到《Inside Out 2 》( 2024年)所有皮克斯电影的数据.zip
07-29
皮克斯电影公司-从《玩具总动员》( 1995年)到《Inside Out 2 》( 2024年)所有皮克斯电影的数据.zip
deepseek的模型
02-18
- **高效的扩展法则应用**：作为测试期间验证Scaling Law的理想案例之一，DeepSeek-R1证实了硬件性能对于支持更深层次认知活动的重要性——特别是针对代理AI所需的快速且精准的数据解析过程而言。这意味着随着算力...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

五阿哥爱跳舞

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值