浅谈大模型「蒸馏」是什么技术！

hi，朋友们，deepseek的潮流还没过去，重点突出的一些技术还是需要拿出来再回炉重造下，之所以能够如此高效率得益于一个叫做「知识蒸馏」的技术，接下来我们就浅浅聊一下（产品的角度）！技术层面不做深究~

定义

什么是蒸馏？

大模型蒸馏（Model Distillation）是一种将大型、复杂模型（教师模型）的知识迁移到小型、高效模型（学生模型）的技术，旨在解决大模型部署成本高、推理速度慢的问题。

为什么要用蒸馏把大模型学习到的东西迁移到小模型呢？

因为大的模型很臃肿，而真正落地的终端算力有限，比如手表，安防终端。所以要把大模型变成小模型，把小模型部署到终端上。

模型蒸馏的作用

• 模型轻量化：