文献阅读报告-KICGPT: Large Language Model with Knowledge in Context for Knowledge Graph Completion

LLM与知识图谱协同

题目

KICGPT: Large Language Model with Knowledge in Context for Knowledge Graph Completion

KICGPT：大型语言模型与上下文知识结合用于知识图谱补全（Knowledge Graph Completion）

代码：GitHub - WEIYanbin1999/KICGPT: KICGPT: Large Language Model with Knowledge in Context for Knowledge Graph Completion

（2024.02）

1.实验背景

1.1 研究背景和现状

知识图谱补全（KGC）对于解决知识图谱的不完整性和支持下游应用至关重要。目前针对 KGC 主要有两大类模型：基于三元组的方法和基于文本的方法。

1 基于三元组的方法（例如TransE （Bordes等人，2013）、R-GCN （Schlichtkrull等人，2018）和HittER (Chen等人，2021)）。由于结构信息有限和实体分布不平衡，很难处理长尾实体。

• 早期的浅知识图嵌入（KGE）方法将实体和关系表示为连续嵌入空间中的低维嵌入向量。然而，由于使用浅网络结构，它们的表达能力有限。

• 近年来，集成了更强大的网络结构来解决KGC任务。示例包括图神经网络（Schlichtkrull等人，2018）、卷积神经网络（Dettmers等人，2018）和Transformer （Chen等人，2021）。将局部结构上下文聚合到节点嵌入中，从而大大提高了性能。但是，由于对长尾实体的认识不足，知识图谱结构分布不均衡，使得长尾实体的知识分布不均衡。

• 元学习(Xiong et al ., 2018；Chen et al ., 2019)和逻辑规则（Sadeghian et al ., 2019）可以缓解KG中的长尾问题。它们与我们的工作的主要区别在于，它们通过从KG中有限的信息中提取和总结共同的结构模式或规则来处理长尾实体，而KICGPT将LLM内部庞大的外部知识库与KG中的结构信息相结合，这有助于缓解信息稀缺性。

2 基于文本的方法（如KG-BERT (Yao等人，2019)）缓解了这一问题，但需要对语言模型进行昂贵的训练，并对知识图谱进行特定的微调，从而限制了其效率。

DKRL （Xie et al ., 2016）首次将文本描述引入到卷积神经网络生成的实体嵌入中。

随后的研究（如KG-BERT （Yao等人，2019）、KEPLER （Wang等人，2021b）和Pretrain-KGE (Zhang等人，2020b)）使用预训练语言模型（PLM）对文本描述进行编码。

最近，LMKE （Wang et al ., 2022a）提出了一种对比学习框架，该框架使用PLM在与词标记相同的空间中获得实体和关系嵌入，并证明了其在长尾问题上的有效性。这些方法通常依赖于语言模型来处理文本描述，需要针对不同的知识图进行调整。建议的KICGPT直接使用LLM，效率更高，因为它