s1: Simple test-time scaling

最新推荐文章于 2025-04-18 17:57:48 发布
最新推荐文章于 2025-04-18 17:57:48 发布
阅读量232 收藏
点赞数 4
CC 4.0 BY-SA版权
分类专栏： LLM Daily 文章标签： 人工智能 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/145833456

本文是LLM系列文章，针对《s1: Simple test-time scaling》的翻译。

s1：简单的测试时间缩放

摘要

测试时间缩放是一种有前景的语言建模新方法，它使用额外的测试时间计算来提高性能。最近，OpenAI的o1模型显示了这种能力，但没有公开分享其方法，导致了许多复制工作。我们寻求最简单的方法来实现测试时间扩展和强大的推理性能。首先，我们根据我们通过消融验证的三个标准（难度、多样性和质量），策划了一个包含1000个问题和推理痕迹的小型数据集s1K。其次，我们开发了预算强制来控制测试时间计算，方法是强制终止模型的思维过程，或者在模型试图结束时多次向模型的生成添加“等待”来延长它。这可能会导致模型对其答案进行双重检查，通常会修复不正确的推理步骤。在s1K上对Qwen2.5-32B-Instruct语言模型进行监督微调并为其配备预算强制功能后，我们的s1-32B模型在竞赛数学问题上比o1预览高出27%（math和AIME24）。此外，通过预算强制扩展s1-32B，可以在没有测试时间干预的情况下推断其性能：在AIME24上从50%到57%。我们的模型、数据和代码都是开源的https://github.com/simplescaling/s1.

1 引言

2 推理数据管理以创建s1K

3 测试时间扩展

4 结果

5 消

了解本专栏 订阅专栏 解锁全文 超级会员免费看
什么是test-time scaling？
智能守恒_HengAI
02-24 1441
Test-time scaling 通过灵活调整测试阶段的输入数据，显著提升了模型在复杂环境中的适应能力。Test-time scaling（测试时缩放）是机器学习中在模型推理阶段对输入数据进行动态调整的技术，旨在提升模型在测试环境下的性能。Test-time scaling 指在模型推理（测试）阶段对输入数据进行缩放或变换，以适应测试环境的特定需求。与训练时的静态预处理不同，它可能动态调整参数，例如根据实时数据分布重新计算归一化统计量或应用数据增强技术。
李飞飞（FeiFei Li）最新论文：s1 开源推理大模型：简单的测试时间缩放 s1: Simple test-time scaling
AI天才研究院
02-06 2098
本文提出了一种基于测试时间调整的语言模型优化方法，通过额外的计算资源在测试阶段提高模型性能。作者首先构建了一个名为s1K的数据集，包含1000个经过精心挑选的问题及其对应的推理路径，这些样本依据难度、多样性和质量三个标准进行筛选和标注。接着，引入了预算强制（BF）技术，这是一种简单的测试时间调整策略，通过限制或增加思考步数来迫使模型重新考虑其答案，从而提升解决复杂问题的能力。实验结果显示，使用这种方法对 Qwen2.5-32B-Instruct 模型进行微调后，能够显著提高在数学竞赛等推理密集型任务。
s1: Simple test-time scaling 论文简介
The cure for boredom is curiosity. This is the log of its adventures.
02-11 1567
这项研究证明，语言模型的推理能力提升未必依赖复杂算法或海量数据。通过精心设计的小数据和巧妙的测试时控制，开源社区完全能够复现甚至超越顶尖闭源模型的性能。正如作者所言：“简单性不是妥协，而是深思熟虑的结果。” 这一工作为高效、可解释的AI推理开辟了新路径，也为后续研究树立了标杆。延伸阅读GitHub仓库。
NLP论文速读|S1: 简单的测试时间缩放
2401_85576118的博客
02-08 894
近年来，语言模型（LMs）的性能提升主要依赖于训练时计算资源的大幅扩展，尤其是大规模的自监督预训练。通过多次添加“Wait”字符串（2 次、4 次、6 次）来强制模型继续思考，可以看到模型性能进一步提升，但随着思考次数的增加，性能提升逐渐趋于平缓。为了增强数据的多样性，作者还创建了两个新的数据集：s1-prob（斯坦福大学统计系的博士资格考试问题）和s1-teasers（面试中常用的数学谜题）。具体来说，它通过强制模型在达到预设的思考步数时结束思考过程，或者通过添加“Wait”字符串来延长模型的思考时间。
Scaling law or Scaling LLM Test-Time? Scaling LLM Test-Time介绍
Dar_Alpha的博客
11-23 1383
google的Scaling LLM Test-Time介绍
LLMs之s1：《s1: Simple test-time scaling》翻译与解读
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
02-06 2356
​ LLMs之s1：《s1: Simple test-time scaling》翻译与解读 目录 《s1: Simple test-time scaling》翻译与解读 Abstract 1、Introduction 6 Discussion and related work 《s1: Simple test-time scaling》翻译与解读 地址 论文地址：[2501.19393] s1: Simple test-time sca
AI教母李飞飞团队训练出媲美DeepSeek R1的推理模型，云计算费用不到50美元！
02-07 1775
2025 年 1 月，李飞飞团队提出了一种极简的测试时扩展（test-time scaling）方法，仅需对预训练模型进行少量监督微调（SFT）并结合动态推理控制技术，即可显著提升语言模型的数学推理能力。团队精心构建了包含 1000 个问题及对应推理过程的小型数据集 s1K，该数据集依据难度、多样性和质量三大标准进行严格筛选。同时，开发了预算强制（budget forcing）技术，此技术可在测试阶段精准控制模型的思考时间，灵活地强制终止或延长模型的推理过程。这篇文章在某种程度上证明了极简数据+动态控制。
原文下载：s1: Simple test-time scaling
02-07
原文下载：s1: Simple test-time scaling 是一篇关于测试时扩展计算能力来提升模型性能的研究文章。文章中提到了一个名为 OpenAI 的模型，该模型展示了利用额外的测试时计算来提升性能的能力，但未公开分享其方法，...
s1:Simple tets-time scaling略微解析
万物琴弦存于你的泡沫之中，光锥之外
02-07 1915
它展示了如何仅用1,000个样本和预算强制（budget forcing）技术，就能让模型在推理任务上达到与大型闭源模型相当的性能。的主要作用是通过增加推理的次数，让模型有更多机会进行深入思考，生成更完整、更准确的答案。这种机制并不是直接延长每次推理的时间，而是通过多次调用模型来实现的。通过这些步骤和核心思想，论文证明了小模型在高效微调下可以匹敌顶级闭源模型，为轻量化高精度推理模型提供了新的范式。通过合理设置这些参数，可以优化模型的生成行为，使其更适合特定的任务需求。的设置会影响模型的行为。
S1:仅1k样本，使用测试时扩展（Test-time Scaling）超越OpenAI o1-preview性能
llm_way的博客
02-06 1540
本文介绍了一种名为s1的简约测试时扩展方法，该方法旨在通过精心设计的数据集和创新的预算强制（Budget Forcing）策略，实现性能上的显著飞跃，甚至超越了OpenAI的o1-preview模型。为了确保这一点，s1K从多个来源收集了初始的59029个问题，并通过两个不同规模的模型（Qwen2.5–7B-Instruct和Qwen2.5-32B-Instruct）进行评估，以筛选出那些能够反映模型推理能力的难题。预算强制是s1方法的另一个核心组成部分，它通过控制测试时的计算量来优化模型的性能。
李飞飞S1模型挑战DeepSeek（论文解读）
人工智能讲师分享前沿技术
02-07 1793
论文《s1: Simple test-time scaling》提出了一种简单而有效的测试时扩展方法，用于提升大模型在复杂推理任务中的表现。该方法的核心在于通过少量数据和简单的测试时干预技术，实现模型性能的显著提升。图1展示了 s1-32B 模型在测试时扩展计算量时的性能变化。图中横轴为测试时使用的思考标记（tokens）数量，纵轴为准确率（Accuracy）。图中可以看到，随着测试时计算量的增加，s1-32B 的性能逐渐提升，特别是在 AIME24 数据集上，从 50% 提升到 57%。
Scaling LLM Test-Time：谁说类o1推理一定要用RL???
m0_59235945的博客
10-10 4168
在预训练Scaling Law性能见顶情况下，研究机构纷纷转向了Post-Training和Scaling Test Time. 这里的Scaling Test-Time指的是在inference时增加更多的算力或时间，从而提升性能。纯inference推理进行特定的训练，使得模型本身具备更优的推理能力。在inference时再辅以搜索功能提升性能（非RL）将模型进行RL训练后，能更好的在inference推理+搜索（RL）在本篇Paper里对比了1,2的方案。并不涉及到RL的训练Inference。
【AI学习】Huggingface复刻Test-time Compute Scaling技术
bylander的博客
12-21 2219
OpenAI ChatGPT o1 背后的关键技术Test-time Compute Scaling，Huggingface实现并开源了！ Hugging Face 团队发布了一篇关于“开源模型中的推理阶段计算扩展”（Test-time Compute Scaling） 的研究文章。Hugging Face 团队通过复现 DeepMind 等研究成果，通过测试时计算扩展（test-time compute scaling）来提升小模型的性能，使其在某些情况下超越更大规模的模型。
s1: Simple test-time scaling 阅读笔记
taoqick的专栏
02-10 513
s1: Simple test-time scaling 实际上就是在s1K数据集上对Qwen2.5-32B-Instruct语言模型进行有监督微调（），并为其配备 “预算强制” 功能后，我们的模型s1-32B在竞赛数学问题（MATH 和 AIME24）上的表现比o1-preview高出27%
通俗理解Test time Scaling Law、RL Scaling Law和预训练Scaling Law
产品老A，7年互联网大厂AIPM，专注探索新型人机交互
02-23 4432
Test time Scaling Law、RL Scaling Law和预训练Scaling Law，三者形成循环迭代。
s1: Simple test-time scaling 【论文阅读笔记】
xian_ren008的博客
03-25 1465
这篇文章是对文章 s1:Simple test-time scaling的阅读笔记，同时增加了相关方法（包括一篇蚂蚁的综述论文和一篇Google的方法论文的简报。）能够给人一个time-time scaling常见做法的直观解释
【论文阅读】李飞飞团队的“50美元”大模型性能超o1-preview：s1: Simple test-time scaling
兴趣使然的创作者
02-20 867
如题所示，这篇文章核心就是在验证"test-time scaling"这条定理，即在推理时增加推理时间，可以让模型的性能得到提升。为验证此定理，本文构建了一个高质量的1K条数据集s1K，在的基础上，对该数据集进行监督微调，微调在16张NVIDIA H100 GPU进行，共花费26分钟，按照H100的租赁成本，总成本约在50美元左右。
[AI.认知]李飞飞团队“50美元”训练出s1-32B，以及研究成果《s1：Simple test- time scaling》，背后的本质？
:: Dotnet Fantasy ::
02-13 535
论文1.李飞飞团队的目标，是探究“如何以极低的成本训练出一款高效率的人工智能推理模型”。他们选择了基于阿里云通义千问（Qwen2.5-32B-Instruct）开源模型进行监督微调（Supervised Fine-Tuning, SFT），而不是从零开始训练全新的模型。这种方式大幅降低了计算成本。
Test-time scaling（TTS）相关结论
最新发布
Xixoqw的博客
04-18 570
A：从广义上讲，测试时scaling有三个基本的技术途径：i） 推理时的刻意推理程序，ii） 模仿复杂的推理轨迹，以及 iii） 基于 RL 的激励。如果您的目标是以最低的成本快速了解强大的 TTS 可以为您的任务带来的潜在上限，您可以直接使用已使用 （iii） 训练的模型。虽然传统的推理任务（如奥林匹克级别的数学、复杂的编码和基于游戏的挑战）已被证明可以显著改善 TTS，但社区观察表明，TTS 还可以提高开放式任务的性能，例如评论生成或评估。A： 是的，一个直观的区别在于效率方面。A： 没有免费的午餐。
Expanding Performance Boundaries of Open-Source Multimodal Models with Model, Data, and Test-Time Scaling
12-29
### 如何通过多种方式提升开源多模态模型的性能边界 #### 模型扩展 为了增强开源多模态模型的能力，可以通过增加模型参数量或采用更复杂的网络结构来实现。具体来说： - **扩大模型规模**：增大神经网络层数、宽度以及连接数可以显著提高模型表达能力和泛化能力[^1]。 - **混合专家机制（MoE, Mixture of Experts）**：引入稀疏激活模块，在不大幅增加计算成本的情况下有效提升了模型容量和灵活性[^2]。 ```python from transformers import AutoModelForSequenceClassification def expand_model(model_name='bert-base-uncased'): model = AutoModelForSequenceClassification.from_pretrained(model_name) # 增加额外层或其他改进措施 additional_layers = nn.Sequential( nn.Linear(768, 1024), nn.ReLU(), nn.Dropout(p=0.1), nn.Linear(1024, num_labels) ) combined_model = torch.nn.Sequential(model, additional_layers) return combined_model ``` #### 数据扩展 高质量的数据集对于训练高性能的多模态模型至关重要。以下是几种有效的数据扩展方法： - **多样化数据源集成**：融合来自不同领域、风格各异的数据资源能够使模型获得更加全面的理解力[^3]。 - **合成样本生成**：利用GANs或者其他生成对抗网络创造新的图像-文本配对实例，从而扩充原始语料库。 - **弱监督/自监督学习**：当标注信息稀缺时，可以从海量未标记数据中挖掘有用特征并用于辅助训练过程。 ```bash # 使用Data Augmentation工具包进行图片变换操作 !pip install imgaug albumentations import imgaug.augmenters as iaa seq = iaa.Sequential([ iaa.Fliplr(0.5), # 随机水平翻转 iaa.Crop(percent=(0, 0.1)), # 裁剪掉一定比例边缘区域 ]) images_augmented = seq(images=batch_images) ``` #### 测试时间扩展 在推理阶段采取特定策略同样有助于改善最终预测效果： - **集成学习**：组合多个独立训练得到的基础估计器来进行投票表决或平均输出，以此减少单一模型可能存在的偏差。 - **动态推理路径选择**：根据不同输入特性调整内部处理流程，比如跳过不必要的中间层运算以加速响应速度而不损失精度。 - **贝叶斯优化超参调优**：针对目标函数设计合理的先验分布并通过迭代搜索找到最优配置方案，进而优化整体表现。 ```python class EnsemblePredictor: def __init__(self, models_list): self.models = models_list def predict(self, input_data): predictions = [] for model in self.models: pred = model.predict(input_data) predictions.append(pred) final_prediction = np.mean(predictions, axis=0) # 或者其他聚合逻辑 return final_prediction ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值