Knowledge Distillation of Large Language Models

最新推荐文章于 2025-04-28 11:44:51 发布

UnknownBody

最新推荐文章于 2025-04-28 11:44:51 发布

阅读量2.5k

点赞数

CC 4.0 BY-SA版权

分类专栏： Survey Paper 文章标签：语言模型 python 人工智能

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/131286652

Survey Paper 专栏收录该内容

264 篇文章 ¥99.90 ¥299.90

订阅专栏

超级会员免费看

MINILLM是一种新的知识蒸馏方法，用于从大型语言模型（LLM）中提取知识，以训练更小的模型。它通过反向Kullback-Leibler散度（KLD）来优化，避免学生模型高估教师分布的低概率区域。MINILLM通过策略梯度优化、教师混合采样和长度归一化来提高训练效果，适用于不同大小的模型。实验表明，MINILLM在指令跟随任务中优于标准KD方法，具有更低的曝光偏差、更好的校准和长文本生成性能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

这是大模型系列模型的文章，针对《Knowledge Distillation of Large Language Models》的翻译。

摘要

知识蒸馏（KD）是一种很有前途的技术，可以减少大型语言模型（LLM）的高计算需求。然而，以前的KD方法主要应用于白盒分类模型或训练小模型来模仿像ChatGPT这样的黑盒模型API。如何有效地从白盒生成LLM中提取知识仍有待探索，随着LLM的蓬勃发展，这一点变得越来越重要。在这项工作中，我们提出了MINILLM，它从生成的较大语言模型中提取较小的语言模型。我们首先将标准KD方法中的前向Kullback-Leibler散度（KLD）目标替换为更适合生成语言模型上的KD的反向KLD，以防止学生模型高估教师分布的低概率区域。然后，我们推导出一种有效的优化方法来学习这个目标。在指令跟随设置中的大量实验表明，MINILLM模型生成更精确的响应，具有更高的整体质量、更低的曝光偏差、更好的校准和更高的长文本生成性能。我们的方法也适用于具有120M到13B参数的不同模型族。我们将在https://aka.ms/MiniLLM发布我们的代码和模型检查点。