本文是LLM系列文章,针对《ChatGPT is not Enough: Enhancing Large Language Models with Knowledge Graphs for Fact-aware Language Modeling》的翻译。
ChatGPT还不够:用知识图谱增强大型语言模型以进行事实感知语言建模
摘要
近年来,具有代表性的大型语言模型(LLM)ChatGPT由于其强大的涌现能力而备受关注。一些研究人员认为,LLM有可能取代知识图谱等结构化知识库,并作为参数化知识库发挥作用。然而,尽管LLM精通基于大型语料库的概率语言模式学习和与人类的对话,但与以前较小的预训练语言模型(PLM)一样,它们在生成基于知识的内容时,仍然难以回忆事实。为了克服这些限制,研究人员提出用基于知识的KGs增强数据驱动的PLM,将明确的事实知识纳入PLM中,从而提高其生成需要事实知识的文本的性能,并为用户查询提供更明智的响应。本文综述了用知识图谱增强预训练语言模型(KGPLM)的研究,详细介绍了现有的知识图谱增强预训练语言模型及其应用。受现有KGPLM研究的启发,本文提出通过开发知识图谱增强的大型语言模型(KGLLM)来增强KGs的LLM。KGLLM为提高LLM的事实推理能力提供了一种解决方案,为LLM研究开辟了新的途径。