DDK: Distilling Domain Knowledge for Efficient Large Language Models

本文是LLM系列文章，针对《DDK: Distilling Domain Knowledge for Efficient Large Language Models》的翻译。

摘要

尽管大型语言模型 （LLM） 在各种应用程序中具有先进的智能功能，但它们仍然面临着巨大的计算和存储需求。知识蒸馏 （KD） 已成为一种有效的策略，通过从高性能的 LLM（即教师模式）迁移知识来提高较小的 LLM（即学生模式）的表现。LLM 蒸馏的主流技术通常使用黑盒模型 API 来生成高质量的预训练和对齐数据集，或者通过改变损失函数来利用白盒蒸馏，以更好地从教师 LLM 那里迁移知识。但是，这些方法忽略了跨域学生和教师 LLM 之间的知识差异。这会导致过度关注性能差距最小的域，而对差距较大的域关注不足，从而降低整体性能。在本文中，我们引入了一种新的 LLM 蒸馏框架，称为 DDK，它根据师生模型之间的领域性能差异，以平滑的方式动态调整蒸馏数据集的组成，使蒸馏过程更加稳定和有效。广泛的评估表明， DDK 显著提高了学生模型的性能，其性能大大优于连续预训练基线和现有的知识蒸馏方法。

1 引言

2 相关工作

3 方法

4 实验

5 结论

在本研究中，我们介绍了 DDK，这是一种为 LLM 量身定制的新颖知识蒸馏框架。我们的初步研究强调了在 LLM 蒸馏背景下优化领域数据混合的重要性。为了解决这个问题，我们提出了一种领域知识引导的抽样方法，它可以动态调节各个领域的抽样概率。此外，我们提出了一种因子平滑更新策略，旨在提高蒸馏过程的稳定性和有效性。对具有不同师生模型配置的几个基准数据集的综合评估证明了 DDK 框架的有