大语言模型（LLM）| 一文详解3种常用的知识蒸馏技术（软标签蒸馏、硬标签蒸馏、协同蒸馏）

你知道吗？大型语言模型（LLM）不仅能从海量的文本数据中学习，还能从其他LLM那里“偷师”！比如，Llama 4 Scout 和 Maverick 就是通过 Llama 4 Behemoth 这个更强大的模型训练出来的。谷歌的 Gemma 2 和 Gemma 3 也利用了自家 Gemini 模型的“经验”。这种模型之间的互相学习，靠的是一种叫做“知识蒸馏”的技术。今天，我们就来聊聊三种流行的知识蒸馏方法，看看它们是如何让LLM们实现“师徒传承”的。

一、知识蒸馏的两个阶段

知识蒸馏可以在LLM训练的两个不同阶段进行，具体取决于训练策略：

1、预训练阶段 在这个阶段，我们同时训练一个较大的“教师”模型和一个较小的“学生”模型。教师模型就像一位经验丰富的导师，而学生模型则是努力学习的新手。比如，Llama 4 就采用了这种方法，让大模型和小模型并肩成长。

2、后训练/微调阶段 这里我们先训练好一个强大的教师模型，然后把它的“知识”提炼出来，传授给较小的学生模型。这就像老师把毕生所学传给徒弟一样。DeepSeek 就用这种方式，把 DeepSeek-R1 的经验传给了通义千问（Qwen）和 Llama 3.1 模型。

有些模型甚至“双管齐下”，比如 Gemma 3 在预训练和微调阶段都用了知识蒸馏，效果自然更上一层楼。

二、三种常用的知识蒸馏技术

接下来，我们详细拆解三种知识蒸馏技术：软标签蒸馏、硬标签蒸馏和协同蒸馏。用比喻和例子带你轻松入门！

1、软标签蒸馏：老师把“思考笔记”全给你

怎么做？

想象一位老师，不仅告诉你答案，还把自己的整个思考过程摊开给你看。软标签蒸馏就是这样：我们先有一个训练好的教师模型，它会对语料库中的每个词生成一个概率分布——比如“这个词后面接‘你’的概率是 70%，接‘我’是 20%”。然后，学生模型也对同样的数据生成自己的概率分布，我们训练它，让它的预测尽量贴近老师的“思考笔记”。

举个栗子

假设老师是个语言大师，学生是个新手。老师说：“‘今天’后面接‘是’的可能性最大，但也可能接‘很’。”学生不仅学会了答案，还明白了老师的推理逻辑。

优点

这种方法就像让学生站在老师的肩膀上，能全面继承老师的推理能力和知识，学习效果非常扎实。

局限

但问题也不小。首先，你得能拿到老师的“笔记本”（也就是模型的权重），如果是私有模型，这就行不通。其次，存储这些概率分布需要巨量的空间。举个夸张的例子：如果词汇表有10万个token，语料库有5万亿个token，每个词的概率分布用8位浮点数存下来，你得准备500 million GB 的硬盘！这就像老师要把几仓库的笔记复印给学生，太不现实了。

2、硬标签蒸馏：老师只告诉你答案

怎么做？

这次老师变得“惜字如金”，只告诉你最终答案，不解释过程。硬标签蒸馏是这样：教师模型对每个输入给出最可能的词（比如“今天”后面接“是”），然后学生模型被训练去预测这个答案，而不是去模仿老师的整个概率分布。

举个栗子

DeepSeek 就用这种方法，把 DeepSeek-R1 的“答案”传给了通义千问（Qwen）和 Llama 3.1 模型。就像老师说：“答案是‘是’，照着学吧！”

优点

简单粗暴，效率高。相比软标签蒸馏，存储需求大幅减少，只需记录老师的最终选择，不用管那些复杂的概率数据。

局限

但缺点也很明显：学生只知道答案，却不知道老师是怎么想的。就像考试时抄了答案却没学懂原理，知识深度可能打了折扣。

3、协同蒸馏：师生一起成长

怎么做？

这回老师和学生从零开始，一起学习。协同蒸馏是这样：我们拿两个没训练过的模型，一个当老师，一个当学生，然后让它们同时面对数据。老师用真实的标签（标准答案）训练自己，学生则努力让自己的预测靠近老师的输出。

举个栗子

Llama 4 就用了这种方法。Llama 4 Behemoth（老师）带着 Llama 4 Scout 和 Maverick（学生）一起进步。刚开始，老师的预测可能也不准，所以学生会结合老师的意见和真实答案，慢慢摸索。

优点

这就像一场“教学相长”的旅程。老师在成长，学生也在老师的进步中受益，学到的东西更灵活、更全面。

局限

初期老师的水平有限，预测可能出错。学生得聪明点，既听老师的，又参考标准答案，不然容易被带偏。

三、知识蒸馏技术的优缺点总结

技术	优点	缺点
软标签蒸馏	知识转移全面，能学到推理过程	需要教师模型权重，存储需求巨大
硬标签蒸馏	简单高效，存储需求小	只学答案，深度不足
协同蒸馏	师生共同成长，学习灵活	初期教师不准，学生需平衡多方信息

四、总结

知识蒸馏就像LLM世界的“师徒传承”，让大模型把经验传给小模型，既节省资源，又保证性能。软标签蒸馏像老师倾囊相授，但费时费力；硬标签蒸馏简单直接，却少了点深度；协同蒸馏则是师生携手共进，各有千秋。

---

如何系统学习掌握AI大模型？

AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。

学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。

这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！

1. 成长路线图&学习规划

要学习一门新的技术，作为新手一定要先学习成长路线图，方向不对，努力白费。

这里，我们为新手和想要进一步提升的专业人士准备了一份详细的学习成长路线图和规划。可以说是最科学最系统的学习成长路线。

2. 大模型经典PDF书籍

书籍和学习文档资料是学习大模型过程中必不可少的，我们精选了一系列深入探讨大模型技术的书籍和学习文档，它们由领域内的顶尖专家撰写，内容全面、深入、详尽，为你学习大模型提供坚实的理论基础。（书籍含电子版PDF）

3. 大模型视频教程

对于很多自学或者没有基础的同学来说，书籍这些纯文字类的学习教材会觉得比较晦涩难以理解，因此，我们提供了丰富的大模型视频教程，以动态、形象的方式展示技术概念，帮助你更快、更轻松地掌握核心知识。

4. 大模型行业报告

行业分析主要包括对不同行业的现状、趋势、问题、机会等进行系统地调研和评估，以了解哪些行业更适合引入大模型的技术和应用，以及在哪些方面可以发挥大模型的优势。

5. 大模型项目实战

学以致用 ，当你的理论知识积累到一定程度，就需要通过项目实战，在实际操作中检验和巩固你所学到的知识，同时为你找工作和职业发展打下坚实的基础。

6. 大模型面试题

面试不仅是技术的较量，更需要充分的准备。

在你已经掌握了大模型技术之后，就需要开始准备面试，我们将提供精心整理的大模型面试题库，涵盖当前面试中可能遇到的各种技术问题，让你在面试中游刃有余。

全套的AI大模型学习资源已经整理打包，有需要的小伙伴可以微信扫描下方优快云官方认证二维码，免费领取【保证100%免费】