Contextualization Distillation from Large Language Model for Knowledge Graph Completion

本文是LLM系列文章，针对《Contextualization Distillation from Large Language Model for Knowledge Graph Completion》的翻译。

摘要

虽然文本信息显著提高了预训练语言模型在知识图谱填充（KGC）中的性能，但从维基百科文章或同义词集定义中收集的现有语料库的静态和噪声性质往往限制了基于PLM的KGC模型的潜力。为了克服这些挑战，我们引入了上下文化蒸馏策略，这是一种通用的即插即用方法，与歧视性和生成性KGC框架兼容。我们的方法首先指示大型语言模型（LLM）将紧凑的结构三元组转换为上下文片段。随后，我们引入了两个量身定制的辅助任务——重建和情境化——允许较小的KGC模型吸收来自这些丰富的三元组的见解。跨不同数据集和KGC技术的全面评估突出了我们方法的有效性和适应性，揭示了无论底层管道或架构如何，都能实现一致的性能增强。此外，我们的分析使我们的方法更具解释性，并为生成路径选择以及合适的蒸馏任务的选择提供了见解。这项工作中的所有代码和数据将在https://github.com/DavidLi0406/Contextulization-Distillation。

1 引言

2 相关工作

3 情境化蒸馏

4 实验

5 结论

在这项工作中，我们提出了上下文化蒸馏，通过提示LLM生成描述性上下文来解决现有KGC文本数据的局限性。为了确保我们的方法在各种基于PLM的KGC模型中的通用性，我们设计了一个多任务学习