Filter-then-Generate: Large Language Models with Structure-Text Adapter for Knowledge Graph

本文是LLM系列文章，针对《Filter-then-Generate: Large Language Models with Structure-Text Adapter for Knowledge Graph Completion》的翻译。

摘要

大型语言模型（LLMs）提供了大量的固有知识和卓越的语义理解能力，这彻底改变了自然语言处理中的各种任务。尽管取得了成功，但在使LLM能够执行知识图谱补全（KGC）方面仍存在关键差距。经验证据表明，即使通过复杂的提示设计或量身定制的指令调整，LLM的表现也始终不如传统的KGC方法。从根本上说，在KGC上应用LLM会带来几个关键挑战，包括大量的实体候选者、LLM的幻觉问题以及图结构的利用不足。为了应对这些挑战，我们提出了一种新的基于指令调优的方法，即FtG。具体来说，我们提出了一个过滤器，然后生成范式，并将KGC任务转化为多项选择题格式。通过这种方式，我们可以利用LLM的能力，同时缓解幻觉引起的问题。此外，我们设计了一个灵活的自我图序列化提示，并采用结构文本适配器以上下文化的方式将结构和文本信息耦合起来。实验结果表明，与现有的最先进方法相比，FtG实现了显著的性能提升。指令数据集和代码可在https://github/LB0