A Survey on Knowledge Distillation of Large Language Models

最新推荐文章于 2025-11-24 18:29:32 发布

UnknownBody

最新推荐文章于 2025-11-24 18:29:32 发布

阅读量444

点赞数 4

CC 4.0 BY-SA版权

分类专栏： Survey Paper Distilling 文章标签：语言模型人工智能自然语言处理

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/138180937

Survey Paper 同时被 3 个专栏收录

275 篇文章 ¥99.90 ¥299.90

订阅专栏

超级会员免费看

LLM 日更

828 篇文章

已下架不支持订阅

Distilling

34 篇文章

订阅专栏

本文深入探讨了知识蒸馏（KD）在大型语言模型（LLM）中的应用，阐述了KD如何缩小专有与开源LLM之间的差距，促进模型压缩和自我改进。调查涵盖了算法、技能增强和垂直领域应用，揭示了数据增强在KD中的关键作用，为研究人员和实践者提供了有价值的见解和未来研究方向。

本文是LLM系列文章，针对《A Survey on Knowledge Distillation of Large Language Models》的翻译。

摘要

在大型语言模型（LLM）时代，知识蒸馏（KD）成为将先进功能从领先的专有LLM（如GPT-4）转移到LLaMA和Mistral等开源同行的关键方法。此外，随着开源LLM的蓬勃发展，KD在压缩这些模型和通过聘请自己作为教师促进他们的自我改进方面发挥着至关重要的作用。本文对KD在LLM领域中的作用进行了全面的调查，强调了它在向小型模型传授先进知识方面的关键作用，以及它在模型压缩和自我改进中的实用性。我们的调查围绕三个基本支柱精心构建：算法、技能和垂直化——对KD机制、特定认知能力的增强及其在不同领域的实际意义进行了全面的研究。至关重要的是，该调查揭示了数据增强（DA）和KD之间复杂的相互作用，说明了DA如何在KD框架内成为一种强大的范式，以提高LLM的性能。通过利用DA生成上下文、特定技能的训练数据，KD超越了传统的界限，使开源模型能够接近其专有模型的上下文熟练度、道德一致性和深度语义洞察力。这项工作旨在为研究人员和从业者提供一个有见地的指南，详细概述当前知识蒸馏的方法，并提出未来的研究方向。通过弥合专有LLM和开源LLM之间的差距，这项调查强调了更易于访问、高效和强大的人工智能解决方案的潜力。最重要的是，我们坚决主张遵守规范LLM使用的法律条款，确保LLM KD的道德和合法应用。相关的Github存储库位于https://github.com/Tebmer/Awesome-Knowledge-Distillation-of-LLMs.