Contextualization Distillation from Large Language Model for Knowledge Graph Completion

UnknownBody

于 2024-03-11 10:44:29 发布

阅读量181

点赞数

分类专栏： Knowledge Graph Distilling 文章标签：语言模型知识图谱人工智能

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/136617076

版权

Knowledge Graph 同时被 3 个专栏收录

79 篇文章 ¥99.90 ¥299.90

订阅专栏

LLM 日更

828 篇文章

已下架不支持订阅

Distilling

32 篇文章

订阅专栏

本文提出了一种上下文化蒸馏策略，用于改进基于预训练语言模型的知识图谱填充（KGC）性能。通过指示大语言模型将三元组转化为上下文片段，然后通过重建和情境化辅助任务，让小规模KGC模型学习到丰富信息。实验证明这种方法在多种KGC技术和数据集上都能提升性能，并且具有通用性和可解释性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文是LLM系列文章，针对《Contextualization Distillation from Large Language Model for Knowledge Graph Completion》的翻译。

摘要

虽然文本信息显著提高了预训练语言模型在知识图谱填充（KGC）中的性能，但从维基百科文章或同义词集定义中收集的现有语料库的静态和噪声性质往往限制了基于PLM的KGC模型的潜力。为了克服这些挑战，我们引入了上下文化蒸馏策略，这是一种通用的即插即用方法，与歧视性和生成性KGC框架兼容。我们的方法首先指示大型语言模型（LLM）将紧凑的结构三元组转换为上下文片段。随后，我们引入了两个量身定制的辅助任务——重建和情境化——允许较小的KGC模型吸收来自这些丰富的三元组的见解。跨不同数据集和KGC技术的全面评估突出了我们方法的有效性和适应性，揭示了无论底层管道或架构如何，都能实现一致的性能增强。此外，我们的分析使我们的方法更具解释性，并为生成路径选择以及合适的蒸馏任务的选择提供了见解。这项工作中的所有代码和数据将在https://github.com/DavidLi0406/Contextulization-Distillation。