Enhancing Large Language Models with Knowledge Graphs for Fact-aware Language Modeling

本文是LLM系列文章，针对《ChatGPT is not Enough: Enhancing Large Language Models with Knowledge Graphs for Fact-aware Language Modeling》的翻译。

摘要

近年来，具有代表性的大型语言模型（LLM）ChatGPT由于其强大的涌现能力而备受关注。一些研究人员认为，LLM有可能取代知识图谱等结构化知识库，并作为参数化知识库发挥作用。然而，尽管LLM精通基于大型语料库的概率语言模式学习和与人类的对话，但与以前较小的预训练语言模型（PLM）一样，它们在生成基于知识的内容时，仍然难以回忆事实。为了克服这些限制，研究人员提出用基于知识的KGs增强数据驱动的PLM，将明确的事实知识纳入PLM中，从而提高其生成需要事实知识的文本的性能，并为用户查询提供更明智的响应。本文综述了用知识图谱增强预训练语言模型（KGPLM）的研究，详细介绍了现有的知识图谱增强预训练语言模型及其应用。受现有KGPLM研究的启发，本文提出通过开发知识图谱增强的大型语言模型（KGLLM）来增强KGs的LLM。KGLLM为提高LLM的事实推理能力提供了一种解决方案，为LLM研究开辟了新的途径。

1 引言

2 PLM的历史

3 KGPLMs

4 KGPLMs的应用

E 问答

问答系统需要为给定的问题选择正确的答案，必须能够访问相关知识并对此进行推理。近年来，尽管PLM在许多问答任务上取得了显著成就，但从经验上看，它们在结构化推理方面表现不佳。另一方面，KGs更适合于结构化推理，并能够进行可解释的预测。因此，一些研究提出将PLM与KGs相结合，以进行结构化推理并实现可解释的预测。一