Distilling System 2 into System 1

最新推荐文章于 2025-06-11 12:06:04 发布
最新推荐文章于 2025-06-11 12:06:04 发布
阅读量713 收藏
点赞数 9
分类专栏： LLM Daily Distilling 文章标签： 语言模型 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/140524044
版权

本文是LLM系列文章，针对《Distilling System 2 into System 1》的翻译。

将系统2蒸馏成系统1

摘要

大型语言模型（LLM）可以在推理过程中花费额外的计算来生成中间思想，这有助于产生更好的最终响应。自思维链以来，已经提出了许多这样的系统2技术，如改写和响应、系统2注意力和分支求解合并。在这项工作中，我们研究了自监督方法，将系统2技术的更高质量输出“编译”（提取）回LLM代，而无需中间推理token序列，因为这种推理已被蒸馏到系统1中。我们表明，可以成功地蒸馏出几种这样的技术，与原始的系统1性能相比，结果有所改善，并且推理成本低于系统2。我们认为，系统2的蒸馏将是未来持续学习人工智能系统的一个重要特征，使它们能够将系统2的能力集中在它们还不能很好地完成的推理任务上。

1 引言

2 相关工作

3 将系统2蒸馏到系统1

4 实验

5 结论

最近的工作表明，在内环中使用LLM的复杂推理过程，称为系统2方法，可以提高性能。在这项工作中，我们表明，在许多情况下&#x

了解本专栏 订阅专栏 解锁全文 超级会员免费看
知识蒸馏: Distilling the Knowledge in a Neural Network(上)
新兴IT民工的专栏
03-20 192
整片论文主要讨论和解决一个问题，在模型越来越大，数据集越来越多的情况下，即使算力已经翻了N倍，训练和部署大模型仍然是一个非常耗时的工作。知识蒸馏，distill knowledge通用模型 + 专用模型并行训练的方式。文章的摘要一开头就说的这个事情：这一段说的是说一个普遍的提高机器学习算法性能的方法就是用同样的数据训练多个模型，然后把多个模型的结果拿来做平均，就能提高算法性能。
知识蒸馏: Distilling the Knowledge in a Neural Network(中)
新兴IT民工的专栏
03-20 142
上一篇已经详细讲了论文的前两章，知识蒸馏的基本逻辑和详细的算法过程。这一篇来说说论文中的后面几张，包括了知识蒸馏算法在MNIST和一个语音识别数据集上的实验效果，还有就是通用模型+专家模型与多专家系统的区分。
Meta发表的将系统2模型蒸馏至系统1模型
m0_59164520的博客
07-29 555
论文标题：Distilling System 2 into System 1论文链接：https://arxiv.org/pdf/2407.06023v2LLMs在推理过程中可以额外消耗计算资源来生成中间思维，这有助于产生更好的最终响应。自思维链以来，已经提出了许多此类系统2技术，例如重述与响应（Rephrase and Respond ）、系统2注意力（System 2 Attention）和分支-解决-合并（Branch-Solve-Merge）。
2024年7月9日Arxiv语言模型相关论文
数智笔记
07-09 1067
原标题作者机构: 印度理工学院坎普尔分校 (IIT Kanpur) Miimansa摘要: 医疗数据泄露的后果对患者、提供者和支付者可能是毁灭性的。最近几个月数据泄露的平均财务影响被估计接近1千万美元。对于印度的医疗组织而言，这尤为重要，他们正在管理快速的数字化过程，同时建立符合法律的数据治理程序。基于计算机的个人信息去识别系统容易受到数据漂移的影响，在跨机构设置中通常效果不佳。因此，必须对现有的去识别技术进行严格评估，以适应印度数字健康倡议的安全采纳。
Meta开发System 2蒸馏技术，Llama 2对话模型任务准确率接近100%
Paper weekly
07-16 307
©作者 |杜伟来源 |机器之心谈到大语言模型（LLM）的策略，一般来说有两种，一种是即时的 System 1（快速反应），另一种是 System 2（慢速思考）。其中 System 2 推理倾向于深思熟虑的思维，生成中间思维允许模型（或人类）进行推理和规划，以便成功完成任务或响应指令。在 System 2 推理中，需要付出努力的心理活动，尤其是在 System 1（更自动化思维）可能出错的情况...
【学习笔记】Distilling the knowledge in a neural network
m0_52218304的博客
07-29 1632
要提高机器学习算法的性能，一个方法就是在同一个数据上训练许多不同的模型并平均预测，但是使用这种a whole ensemble of models(集成模型)是笨重的，需要的计算成本很高，无法部署带大量的用户。对此，有研究表明，将集成模型中的知识压缩到一个易于部署的小型的单个模型是可行的，文章也基于此展开。
知识蒸馏: Distilling the Knowledge in a Neural Network(下)
新兴IT民工的专栏
03-27 90
上面两篇文章已经把知识蒸馏这篇论文说的差不多了，只剩下最后一点，这一篇文章全部说完。上一篇说到了通用+专用模型的方式如何划分数据。接下来就说这种模型集成的方式的性能了。
【论文阅读】Distilling the Knowledge in a Neural Network
来日可期的博客
03-02 462
第一句引入集成学习，在提出集成学习的缺点是太过笨重，进一步提出可以通过压缩模型的方式解决这个问题。这样的叙事方式很流畅，很值得学习。本文的贡献，在前人的压缩模型的基础上进一步提出不同的压缩方式，还引入了一种新的集成方式。
【CIKM 2021】推荐系统相关论文分类
发现问题，并解决问题，批判性思维
01-12 2219
第30届国际信息与知识管理大会（The 30th ACM International Conference on Information and Knowledge Management, CIKM 2021）计划于2021年11月1日-11月5日在线召开。ACM CIKM是CCF推荐的B类国际学术会议，是信息检索和数据挖掘领域最重要的学术会议之一。这次会议共收到1251篇长文（Full paper）、290篇应用文（Applied paper）和626篇短文（Short paper）投稿，有271篇长文、
yolo模型精度提升策略
qq_47798402的博客
06-09 633
结合起来，才能最大程度地提升那6种相似BGA的区分能力，从而显著提高整体mAP。持续进行基于难例分析的主动学习是突破瓶颈的可持续方法。使用自适应优化器、学习率热身与余弦退火，进行充分长周期的训练（配合早停）。持续收集模型在相似BGA上的错误样本，优先标注并加入训练集进行迭代。设计模拟BGA实际成像挑战（反光、模糊、视角变化）的增强方案。尝试引入注意力机制，将分类损失替换为。训练数据（2倍以上是合理起点）。（Focal Loss）以及。显著增加6种相似BGA的。（特别是注意力机制）、
原始的 P-Tuning 和 P-Tuning v2 在实现细节上有哪些不同
ZJQ的博客
06-10 558
P-Tuning v2（2022） - **改进点**： - 在模型的每一层都添加软提示（类似 Prefix Tuning 的思路），而不只是输入层。 - **引入轻量级 MLP 层**：在预训练模型的输出后添加一个小型的多层感知机，增强分类能力。 - **结构特点**： ``` 输入文本 + 软提示 → 预训练LM → MLP层 → 分类输出 ``` MLP 通常由 1-2 层线性层组成，参数量远小于全量微调。
二维张量dim=1
GHL_17768588743的博客
06-11 316
在PyTorch中处理二维张量（矩阵）时，‌dim=1‌，也就是逐行处理每一行的所有列元素。
简繁体智能翻译软件
weixin_62784879的博客
06-09 414
以常见物品为例：内地称\"创口贴\"，香港称\"胶布\"，台湾称\"OK绷\"；汽车品牌\"奔驰\"在香港译作\"平治\"、台湾译作\"宾士\"，这类词汇差异需要额外认知成本。该工具内置智能词库系统，能自动识别并转换具有地区特色的用词表达，实现内地、香港、台湾三地语言习惯的精准转换。针对台湾地区使用的注音符号（如ㄅㄆㄇㄈ）及网络流行的火星文等特殊文字形式，提供对应的转换方案。这款工具还有许多功能，我就不一一介绍啦。
扣子开发汽车行业智能客服示例
brucexia的专栏
06-11 889
在本节中，我们想要创建一个AI客服，用于介绍汽车领域的行业知识，因此需要利用知识库的能力。首先，梳理汽车行业知识，形成FAQ（常见问题解答）。然后，将其上传到知识库中。最后，将知识库配置到AI Agent智能体中，使其能够调用知识库的内容作为回复。完成以上步骤之后，当用户咨询Agent有关汽车领域知识的问题时，Agent将根据FAQ的内容进行回答。传统的机器人客服只能生硬地套用FAQ，缺乏灵活性。
大模型Transformer触顶带来的“热潮退去”，稀疏注意力架构创新或是未来
最新发布
打造全国最全的AI Agent开发知识领域的博客
06-11 1191
大模型狂欢落幕，硬核创新登场！Transformer逼近能力天花板，Agent应用成落地新大陆，而架构层正孕育颠覆性突破。中国团队在云端与终端双轨并进，用稀疏注意力、端侧推理优化打开效率魔盒。告别内卷式数据堆砌，迎接深水区技术创新——这一篇，看懂AI未来十年胜负手！
Sklearn 机器学习 缺失值处理 填充数据列的缺失值
Kant2048的博客
06-07 584
使用Scikit-learn处理数据缺失值的完整指南，多种有效的缺失值处理方法。
（五）动手学深度学习计算：从数学原理到高效实现的全流程指南
hanyuge的专栏
06-08 667
在实际应用中，我们常常需要自定义层和块来实现特定的功能。PyTorch提供了灵活的API来创建自定义层和块。无参数层：实现不包含可学习参数的层，如激活函数层。return torch.sigmoid(x) # 示例：Sigmoid激活函数含参数层：实现包含可学习参数的层，如自定义的全连接层。组合层：将多个层组合成一个块，实现复杂的功能。return x层是深度学习模型的基本构建块，执行特定的计算任务。块是由多个层组成的模块，提高代码的可读性和可维护性。
职业生涯思考
fuyouzhiyi的博客
06-06 565
这种复杂的感受，我来帮你试着梳理出来。如果你觉得某些句子正好说中了你，就把它留下。
【强化学习】——04Model-Based RL
Piccaboo的博客
06-07 664
一是，算法收敛后的策略在初始状态下的期望回报二是，算法达到收敛结果需要的样本数量基于模型的算法得益于这个环境模型，Agent对真实环境中的样本量的需求往往会减少通常具备较低的样本复杂度，但由于环境模型不可能完全准确，因此其期望回报通常较低之前的Model-Free RL中，Agent只可以与环境进行交互如果环境模型已知，那么Agent可以与模型进行交互，基于模型来规划或决策这个模型的作用在于提供环境状态转移概率和预测生成的奖励，以产生或优化策略MPR状态转移函数Ps′∣sa奖励函数Rs。
nuxt3做oce优化
01-15
### Nuxt 3 OCE Optimization Techniques and Best Practices In the context of web development, optimizing Output Cache Expiration (OCE) is crucial for enhancing performance by reducing server load and improving response times. For Nuxt 3 applications, several strategies can be employed to achieve effective cache management. #### Configuring Static File Caching To optimize static file caching within a Nuxt 3 application, one should configure the `nuxt.config.ts` file appropriately. This involves setting up headers that define how long browsers or CDNs should cache these files before checking back with the origin server[^1]. ```typescript export default defineNuxtConfig({ nitro: { routeRules: { '/static/**': { swr: true }, '/images/**': { etag: true } } } }) ``` This configuration ensures specific directories have optimized caching behaviors such as using stale-while-revalidate (`swr`) strategy which allows serving cached content immediately while updating it in the background. #### Implementing Server Middleware for Dynamic Content For dynamic pages where data might change frequently but not on every request, implementing middleware logic through Nuxt's built-in routing system helps manage when and what gets cached effectively[^2]. By doing so, developers gain control over conditions under which responses are considered fresh versus needing regeneration from scratch. ```javascript // inside ~/server/middleware/cache.js export default defineEventHandler((event) => { const url = event.node.req.url; if (!url.startsWith('/api')) return; addHeader(event, 'Cache-Control', 'public,max-age=60'); }); ``` Here, an example shows adding custom HTTP headers via server-side middleware specifically targeting API endpoints ensuring they get properly cached based on defined rules without affecting other parts unnecessarily. #### Leveraging Edge Functions Edge functions provide another layer of flexibility regarding where computations occur relative to users geographically speaking; this proximity reduces latency significantly compared to traditional centralized servers handling all requests equally regardless of location differences between client-server pairs involved during interactions online today more than ever due partly because global internet usage continues growing rapidly each year worldwide according to recent studies conducted across multiple regions globally covering various demographics including age groups spanning young adults aged eighteen years old upwards alongside seniors above sixty-five plus categories alike showing increased connectivity trends overall throughout society at large levels never seen before now becoming commonplace everywhere around us constantly evolving further still into uncharted territories ahead unknown yet full potential remains untapped waiting exploration beyond current horizons set forth previously established boundaries limiting previous generations' capabilities far behind present-day standards achieved thus far already surpassing expectations once thought impossible just decades ago merely glimpses catching sight future possibilities opening doors wide open towards new frontiers awaiting discovery tomorrow awaits those brave enough venture forward embracing changes brought about technological advancements pushing limits human imagination itself transcending barriers time space constraints altogether redefining reality itself anew day dawns brighter opportunities abound horizon stretches infinitely outward expanding consciousness awareness simultaneously narrowing distances bringing closer together disparate elements formerly separated vast expanses void nothingness bridging gaps understanding communication fostering collaboration innovation creation destruction cycles repeating endlessly onward upward always striving reach higher peaks summits unseen realms undiscovered lands hidden shadows light illuminates path forward guiding steps taken journey life eternal progression infinite regression paradoxically coexisting harmoniously balance maintained equilibrium restored order chaos intertwined inseparably dual nature existence manifesting physical metaphysical planes simultaneously interwoven fabric universe whole cloth seamless tapestry woven threads fate destiny intertwine forming patterns stories unfold written unwritten histories recorded memories preserved collective unconscious shared experiences humanity universal truth revealed unveiled exposed raw naked essence being purest form stripped away illusions falsehoods revealing underlying structure supporting framework holding everything place stable foundation upon which all rests ultimately leading back original point departure circular motion perpetual cycle rotation revolution turning wheels gears cogs mechanisms working synchronicity perfect harmony symphony orchestrated conductor maestro directing ensemble musicians playing instruments tune pitch tempo rhythm melody harmony dissonance resolving consonance closure final note struck silence follows pause reflection contemplation introspection insight gained wisdom acquired knowledge expanded enlightenment attained transcendence reached ascension achieved elevation lifted heights unprecedented scales unimaginable proportions magnitudes orders magnitude greater lesser extremes polar opposites meeting converging diverging paths crossing intersecting parallel lines eventually touching connecting linking joining forces combining powers creating synergy multiplying effects exponentially increasing outcomes results achievements accomplishments realized manifested actualized tangible intangible material immaterial substance non-substance presence absence dichotomy polarity contrast comparison distinction differentiation categorization classification organization structuring ordering arranging sorting filtering sifting winnowing separating wheat chaff refining purifying distilling extracting essences quintessences core fundamentals basics essentials rudiments principles axioms postulates premises assumptions beliefs systems ideologies philosophies theories hypotheses conjectures propositions statements assertions claims arguments reasoning logical thinking cognitive processing mental faculties brainpower intellect intelligence quotient EQ IQ ratio proportion relationship connection association correlation causality cause effect consequence outcome result impact influence power authority dominance supremacy sovereignty reign rule governance administration leadership guidance
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值