A Knowledge-constrained Generative Re-ranking Method Based on Large Language Models

本文是LLM系列文章，针对《KC-GenRe: A Knowledge-constrained Generative Re-ranking
Method Based on Large Language Models for Knowledge Graph Completion》的翻译。

摘要

知识图谱补全（KGC）的目标是预测实体之间缺失的事实。以前的KGC重新排序方法大多建立在非生成语言模型上，以获得每个候选者的概率。近年来，生成型大型语言模型（LLM）在信息提取和对话系统等任务中表现出了卓越的性能。利用它们进行KGC重新排名有利于利用广泛的预训练的知识和强大的生成能力。然而，它在完成任务时可能会遇到新的问题，即不匹配、顺序错误和遗漏。为此，我们介绍了KC GenRe，一种基于LLM的知识约束的KGC生成重新排序方法。为了克服不匹配问题，我们将KGC重新排序任务公式化为由生成LLM实现的候选标识符排序生成问题。为了解决排序错误的问题，我们开发了一种知识引导的交互式训练方法，可以提高候选人的识别和排名。为了解决遗漏问题，我们设计了一种知识增强的约束推理方法，该方法能够进行上下文提示和控制生成，从而获得有效的排名。实验结果表明，KG GenRe在四个数据集上实现了最先进的性能，在MRR和Hits@1与以前的方法相比，度量为9.0%，与没有重新排序的方法相比为11.1%。广泛的分析证明了KG GenRe组件的有效性。

1 引言

2 相关工作

3 KGC重新排序形式化