Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters

最新推荐文章于 2025-06-08 01:00:00 发布
最新推荐文章于 2025-06-08 01:00:00 发布
阅读量737 收藏
点赞数 4
CC 4.0 BY-SA版权
分类专栏： LLM Daily LLM Inference 文章标签： 人工智能 算法 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/142376567

本文是LLM系列文章，针对《Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters》的翻译。

优化缩放LLM测试时间计算比缩放模型参数更有效

摘要

使LLM能够通过使用更多的测试时间计算来提高其输出，是构建可以在开放式自然语言上运行的一般自我改进代理的关键一步。在本文中，我们研究了LLM中推理时间计算的缩放，重点回答了一个问题：如果允许LLM使用固定但非微不足道的推理时间计算量，它在具有挑战性的提示下能提高多少性能？回答这个问题不仅对LLM的可实现性能有影响，而且对LLM预训练的未来以及如何权衡推理时间和预训练计算也有影响。尽管它很重要，但很少有研究试图了解各种测试时间推理方法的缩放行为。此外，目前的工作在很大程度上为其中一些策略提供了负面结果。在这项工作中，我们分析了两种主要的机制来扩展测试时间计算：（1）针对密集的、基于过程的验证者奖励模型进行搜索；以及（2）在测试时给出提示的情况下自适应地更新模型在响应上的分布。我们发现，在这两种情况下，缩放测试时间计算的不同方法的有效性因提示的难度而异。这一观察结果促使应用“计算最优”缩放策略，该策略可以最有效地为每个提示自适应地分配测试时间计算。使用这种计算优化策略，与最佳N基线相比，我们可以将测试时间计算缩放的效率提高4倍以上。此外，在FLOP匹配评估中，我们发现，在较小的基础模型达到一定成功率的问题上，测试时间计算可用于优于14倍大的模型。

1 引言

2 测试时间计算的统一视角：提出者和验证者

<

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【论文阅读】清华一作1B暴打405B巨无霸，7B逆袭DeepSeek R1！测试时Scaling封神——能否超越 405B LLM？重新思考计算最优的测试时间缩放
AI天才研究院
02-15 293
摘要测试时间缩放（TTS）是一种通过在推理阶段使用额外计算来提高大型语言模型（LLMs）性能的重要方法。然而，当前研究并未系统地分析策略模型、过程奖励模型（PRMs）和问题难度如何影响 TTS。这种分析的缺乏限制了人们对 TTS 方法的理解和实际应用。在本文中，我们关注两个核心问题：（1）在不同策略模型、PRMs 和问题难度级别上缩放测试时间计算的最佳方法是什么？（2）扩展计算在多大程度上可以提高LLMs在复杂任务上的性能，以及较小的语言模型能否通过这种方法超越较大的模型？
Can 1B LLM Surpass 405B LLM? Rethinking Compute-Optimal Test-Time Scaling
c_cpp_csharp的专栏
02-25 144
测试时间缩放（TTS）是一种在推理阶段使用额外计算来提高大型语言模型（LLM）性能的重要方法。然而，目前的研究并没有系统地分析政策模型、过程奖励模型（PRM）和问题难度是如何影响TTS的。缺乏分析限制了对TTS方法的理解和实际应用。在本文中，我们关注两个核心问题：（1）在不同的策略模型、PRM和问题难度级别上，扩展测试时间计算的最佳方法是什么？（2） 扩展计算在多大程度上可以提高LLM在复杂任务上的性能，通过这种方法，较小的语言模型能否超越较大的语言模型？
论文笔记：Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling
u011426236的博客
02-18 1591
本研究探讨了使大语言模型（LLM）在测试阶段利用更多计算能力以改善输出的关键步骤，关注推理时计算的扩展，特别是研究在固定但非平凡的推理计算条件下，LLM在应对具有挑战性的提示时的性能提升幅度。现有研究对各种测试时推理方法的扩展行为知之甚少，且大部分工作给出了多种策略的负面结果。针对验证奖励模型（Verifier）进行搜索；在测试时根据提示自适应更新模型的响应分布。研究发现，不同的测试时计算扩展方法在提示难度变化时效果差异显著。
【Open AI o1 实现原理】在推理测试时优化LLM的计算比扩大模型参数更有效 Scaling LLM Test-Time Compute
AI天才研究院
09-15 4055
本文研究了如何在推理时利用额外计算资源来提高大型语言模型（LLM）的性能，并通过实验验证了这种方法的有效性。具体来说，作者提出了一个自适应的“最优计算”策略，可以根据问题难度动态地选择不同的测试时间计算方法，从而最大化模型性能。此外，作者还比较了测试时间和训练时间计算之间的关系，并探讨了如何将测试时间计算结果反馈到基础LLM中以实现迭代改进。人类倾向于在困难的问题上花费更多的时间，以可靠地改善他们的决策[9、17、18]。我们能否将类似的能力注入到今天的大型语言模型（LLM）中？
Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters测试时计算更有效
最新发布
Together_CZ的博客
06-08 1641
Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters——最优扩展大型语言模型的测试时计算可能比扩展模型参数更有效
LLM 的测试-时间计算规模化比模型参数规模化更有效
yorkhunter的博客
10-16 1455
24年8月来自UC Berkeley和谷歌DeepMind 的论文“Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters”。
Can 1B LLM Surpass 405B LLM? Rethinking Compute-Optimal Test-Time Scaling 论文简介
No trade is free, but my contents are.
02-13 940
这项研究打破了"大即是好"的固有认知，证明通过智能化的计算资源分配，小模型完全可以在特定任务上实现越级挑战。这不仅为边缘计算、实时系统等场景提供了新的可能性，也启发我们重新思考模型优化的本质——与其盲目增加参数，不如让每一次计算都物尽其用。“真正的智能不在于存储多少知识，而在于如何高效运用已有知识。” —— 论文通讯作者周博文教授随着TTS技术的进一步发展，我们或许即将迎来一个**“小模型，大智慧”**的新时代。这项突破不仅关乎技术优化，更体现了人类对计算本质的深刻理解：在算力爆炸的年代，优雅的效率。
LLM数据投毒缩放率：研发针对大模型投毒防御的迫切性
AI_Conf的博客
08-09 2065
大模型(LLM)是一种人工智能模型，旨在理解和生成人类语言。它们在大量的文本数据上进行训练，可以执行广泛的任务，包括文本总结、翻译、情感分析等等。LLM的特点是规模庞大，包含数十亿的参数，帮助它们学习语言数据中的复杂模式。这些模型通常基于深度学习架构，如转化器，这有助于它们在各种NLP任务上取得令人印象深刻的表现。
[今日Arxiv] LLM推理中的错误自迭代改进，DeepMind
qq_29883477的博客
09-14 1884
使LLM能够通过使用更多测试时间计算来改进其输出是朝着构建普遍自改进代理的关键一步，这些代理可以在开放的自然语言上操作。如果一个LLM被允许使用固定但非微不足道的推理时间计算量，它能在多大程度上提高其在挑战性提示下的性能？回答这个问题不仅对实现LLM的性能有影响，而且对未来预训练和如何权衡推理时间和预训练计算也有影响。尽管它很重要，但很少有研究试图理解各种测试时间推理方法的扩展行为。此外，目前的工作主要为这些策略提供负面结果。
（2025|上海 AI Lab & 清华，LLM，测试时扩展）1B LLM 能否超越 405B LLM？
qq_44681809的博客
02-18 1064
本文探讨了测试时扩展（TTS）如何通过推理阶段的额外计算提升大型语言模型（LLM）的性能，尤其分析了 策略模型、过程奖励模型（PRMs）及 问题难度 对 TTS 策略的影响。
LLM进化的重大转折：测试时计算vs.预训练计算
star_nwe的博客
09-18 2839
总的来说，这项研究为我们展示了AI发展的一个新方向：通过智能地优化测试时计算，我们可能实现与增加模型规模相媲美甚至更好的效果。这不仅是技术上的突破，更是AI系统设计理念的革新。随着这一领域的不断发展，我们有理由期待看到更多创新的计算优化策略涌现。这些策略将帮助我们构建更加智能、高效且易于部署的AI系统，为AI的广泛应用铺平道路。
Big Model Weekly | 第34期
AITIME_HY的博客
08-25 1278
点击蓝字关注我们AI TIME欢迎每一位AI爱好者的加入！01MiniCPM-V: A GPT-4V Level MLLM on Your Phone近期多模态大型语言模型（MLLMs）的快速发展，从根本上改变了人工智能研究和产业的格局，为实现人工智能的下一个重要突破指明了充满希望的方向。然而，MLLMs在现实世界应用中仍面临重大挑战。最主要的挑战来自于运行具有庞大参数量和高计算需求的MLLMs所...
8种值得关注的大模型测试时计算策略【test-time compute】
新缸中之脑
09-27 4311
本月发表的两篇重要研究论文揭示了如何通过优化测试时计算来显著提高大型语言模型 (LLM) 的性能而无需额外的训练。加州大学伯克利分校和谷歌 DeepMind 的 Snell 等人撰写的和 Appier AI Research 和台湾大学的 Tam 等人撰写的挑战了传统方法，即更高质量的响应必然需要扩展 LLM 参数并等待更大、更强大的基础模型。测试时计算（test-time compute），也称为推理计算，是指 LLM 生成提示响应时使用的计算资源。
图解推理型 LLMs（二）测试时计算：Test-time Compute
m0_56255097的博客
02-14 948
与不断增加预训练成本不同，测试时计算允许模型在推理过程中“多思考一会儿”。非推理型模型，通常只输出答案，省略“推理”步骤：而推理型模型则会使用更多的 tokens，通过若所有增加的计算资源都用在生成最终答案上，实际效率不高；但若将新增的计算资源用在提前生成包含额外信息、关系以及新思路的 token 上，则模型最终答案的质量会高得多。换句话说，。
传神论文中心｜第22期人工智能领域论文推荐
OpenCSG的博客
08-21 734
此外，它还使用一个自动化审稿人来评估生成的论文，声称在评估论文评分方面接近人类的表现，并声称生成的论文可以超过其自动化审稿人所判断的顶级机器学习会议的接受门槛。传神社区注意到这篇文章中有以下亮点：《Scaling LLM Test-Time Compute Optimally》深入探讨了大语言模型在推理阶段的计算扩展行为，并提出了一种自适应的计算最优策略。该框架通过图形化表示医学实体和知识，创建了一个全球互联的知识图谱，显著提升了结果的精确性，并在多个医疗问答基准上超越了现有的最先进模型。
北大对齐团队独家解读：OpenAI o1开启「后训练」时代强化学习新范式
AIBigModel的博客
09-16 2082
这些都将是不局限于利用人类偏好数据，利用强化学习进行 “微” 调，随着业界在 pre-train 阶段技术的成熟，以及现有数据也即将匮乏，大模型的训练将从 “模仿” 到 “探索” 的转变，在 Llama 3.1 的技术报告中谈到，在 Post-training 阶段能够观察到性能的有效提升，而 OpenAI O1 则是进一步将大模型训练的战场推向 Post-training 阶段。这表明，模型在面对不明确或存在漏洞的任务时，能够通过意想不到的方式实现 “奖励攻陷”，从而避开真正的挑战核心。
OpenAI o1模型背后的技术解析 | 后训练阶段的缩放法则与推理优化
weixin_41496173的博客
09-19 1317
随着人工智能技术的迅速发展，大模型的能力提升成为各大研究机构的重点。2024年9月13日，OpenAI发布了o1系列模型，在数学、代码生成、长程规划等领域取得了显著提升。这些进展并非简单依靠大模型的参数扩展，而是基于强化学习以及推理阶段的算力优化，尤其是“后训练阶段的缩放法则（Post-Training Scaling Law）”的应用。在本文中，我们将深入探讨o1模型背后的技术，包括后训练阶段缩放法则、隐式思维链（CoT）、STaR和Critic模型等关键概念，帮助读者更好理解大语言模型（LLM）能力提升
【AI学习】Huggingface复刻Test-time Compute Scaling技术
bylander的博客
12-21 1960
OpenAI ChatGPT o1 背后的关键技术Test-time Compute Scaling，Huggingface实现并开源了！ Hugging Face 团队发布了一篇关于“开源模型中的推理阶段计算扩展”（Test-time Compute Scaling） 的研究文章。Hugging Face 团队通过复现 DeepMind 等研究成果，通过测试时计算扩展（test-time compute scaling）来提升小模型的性能，使其在某些情况下超越更大规模的模型。
Expanding Performance Boundaries of Open-Source Multimodal Models with Model, Data, and Test-Time Scaling
12-29
### 如何通过多种方式提升开源多模态模型的性能边界 #### 模型扩展 为了增强开源多模态模型的能力，可以通过增加模型参数量或采用更复杂的网络结构来实现。具体来说： - **扩大模型规模**：增大神经网络层数、宽度以及连接数可以显著提高模型表达能力和泛化能力[^1]。 - **混合专家机制（MoE, Mixture of Experts）**：引入稀疏激活模块，在不大幅增加计算成本的情况下有效提升了模型容量和灵活性[^2]。 ```python from transformers import AutoModelForSequenceClassification def expand_model(model_name='bert-base-uncased'): model = AutoModelForSequenceClassification.from_pretrained(model_name) # 增加额外层或其他改进措施 additional_layers = nn.Sequential( nn.Linear(768, 1024), nn.ReLU(), nn.Dropout(p=0.1), nn.Linear(1024, num_labels) ) combined_model = torch.nn.Sequential(model, additional_layers) return combined_model ``` #### 数据扩展 高质量的数据集对于训练高性能的多模态模型至关重要。以下是几种有效的数据扩展方法： - **多样化数据源集成**：融合来自不同领域、风格各异的数据资源能够使模型获得更加全面的理解力[^3]。 - **合成样本生成**：利用GANs或者其他生成对抗网络创造新的图像-文本配对实例，从而扩充原始语料库。 - **弱监督/自监督学习**：当标注信息稀缺时，可以从海量未标记数据中挖掘有用特征并用于辅助训练过程。 ```bash # 使用Data Augmentation工具包进行图片变换操作 !pip install imgaug albumentations import imgaug.augmenters as iaa seq = iaa.Sequential([ iaa.Fliplr(0.5), # 随机水平翻转 iaa.Crop(percent=(0, 0.1)), # 裁剪掉一定比例边缘区域 ]) images_augmented = seq(images=batch_images) ``` #### 测试时间扩展 在推理阶段采取特定策略同样有助于改善最终预测效果： - **集成学习**：组合多个独立训练得到的基础估计器来进行投票表决或平均输出，以此减少单一模型可能存在的偏差。 - **动态推理路径选择**：根据不同输入特性调整内部处理流程，比如跳过不必要的中间层运算以加速响应速度而不损失精度。 - **贝叶斯优化超参调优**：针对目标函数设计合理的先验分布并通过迭代搜索找到最优配置方案，进而优化整体表现。 ```python class EnsemblePredictor: def __init__(self, models_list): self.models = models_list def predict(self, input_data): predictions = [] for model in self.models: pred = model.predict(input_data) predictions.append(pred) final_prediction = np.mean(predictions, axis=0) # 或者其他聚合逻辑 return final_prediction ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值