Agent也能蒸馏了！性能超好

关注

原创最新推荐文章于 2026-07-16 16:48:15 发布 1k 阅读 AI 写同款· GEO 优化 ›

Distilling LLM Agent into Small Models-大模型Agent能力蒸馏现有研究中，为了让小模型（sLMs）拥有大模型（LLMs）的推理能力，主流方法是“思维链（CoT）蒸馏”：让小模型模仿大模型的“一步步推理过程”（比如解数学题时的分步演算）。这种方法在数学推理等任务中效果不错，现在已成为小模型训练的常用手段。为了让小模型更好地“举一反三”，近年的方法还加入了外部工具（比如查资料的“检索工具”、算题的“代码执行工具”），帮助小模型专注于“通用的推理思路”，而不是死记硬背知识或计算过程。阅读详情

大模型的困境：能力越强，成本越高！

LLM 虽然能解数学题、答冷知识，但运行成本极高，好比“雇一个年薪百万的博士随时待命”。

展示了LLM如何通过思维链（CoT）解答“100美元投资苹果股票”的问题，但普通用户根本用不起这样的“豪华配置”。

论文：Distilling LLM Agent into Small Models with Retrieval and Code Tools
链接：https://arxiv.org/pdf/2505.17612

小模型的痛点：学不会、记不住、算不准

传统方法让小模型模仿大模型的“解题步骤”（CoT蒸馏），但小模型容易“开脑洞”——比如硬背答案却不会查资料，或强行心算导致错误。

列出的8个测试任务中，小模型在复杂数学题和多跳知识问答上频频翻车。

Agent蒸馏：让小模型学会“用工具”

论文提出Agent蒸馏：不再让小模型死记硬背，而是教它像人类一样用工具！比如：

检索工具：查资料代替硬记（比如搜“几何之父是谁”）
代码工具：写代码做计算（比如用Python算复利）

对比了传统CoT蒸馏和代理蒸馏的区别，后者让小模型学会“动手解决问题”。

方法：首思前缀 + 自我纠错

为了让小模型学得更好，作者加了两个“外挂”：

首思前缀（FTP）：让大模型先写“解题大纲”，再生成具体步骤。比如解方程时，先写“第一步：整理方程形式”，避免小模型一上来就跑偏。
自我纠错（SAG）：让小模型生成多个方案，选最靠谱的那个。比如写代码时，先试8种写法，排除报错的，再投票选正确答案。

结果：小模型性能直逼大模型

显示，经过Agent蒸馏的0.5B小模型（参数仅5亿），在投资计算、多跳问答等任务上，性能直接追上传统方法训练的1.5B模型（15亿参数）。3B小模型甚至超越7B大模型！

进一步分析：Agent蒸馏让小模型在高难度数学题（如奥数题）上表现更稳，靠代码工具解决了复杂计算。

展望：低成本Agent的时代来了

论文证明，小模型也能“四两拨千斤”——只要学会用工具，就能在手机、平板上运行智能助手，甚至替代部分大模型场景。未来若结合强化学习，小模型还能在更复杂任务中进化。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述