A Survey on Symbolic Knowledge Distillation of Large Language Models

本文是LLM系列文章，针对《A Survey on Symbolic Knowledge Distillation of Large Language Models》的翻译。

摘要

本调查论文深入探讨了大型语言模型 （LLM） 中符号知识蒸馏的新兴关键领域。随着生成式预训练 Transformer-3 （GPT-3） 和来自 Transformers 的双向编码器表示 （BERT） 等 LLM 在规模和复杂性上不断扩大，有效利用其广泛知识的挑战变得至关重要。本调查集中于将这些模型中包含的复杂、通常隐含的知识蒸馏成更具象征意义、更明确的形式的过程。这种转变对于提高 LLM 的可解释性、效率和适用性至关重要。我们根据方法和应用对现有研究进行分类，重点关注如何使用符号知识蒸馏来提高更小、更高效的人工智能 （AI） 模型的透明度和功能。该调查讨论了核心挑战，包括以易于理解的形式保持知识深度，并探讨了该领域已经开发的各种方法和技术。我们确定当前研究中的差距和未来进步的潜在机会。本调查旨在全面概述 LLM 中的符号知识蒸馏，突出其在迈向更易于访问和更高效的 AI 系统方面的重要性。
人们对符号知识的潜力越来越感兴趣，它可以提高 LLM 的可解释性、效率和应用范围，将它们转变为更健壮、更易理解和多功能的工具。尽管认识到其重要性，但仍然明显缺乏彻底检查和评估这种整合的过程和影响的全面研究。现有文献主要关注 LLM 的进步或 LLM 中的知识内容，较少强调 LLM 的符号知识蒸馏。本调查旨在通过强调该领域的方法、挑战和进步，对 LLM 中符号知识分布的现状进行广泛审查，从而填补这一关键空白。

1 引言

2 知识蒸馏和大型语言模型的里程碑

3 背景和前言

4 大型语言模