Enhancing Large Language Models with Knowledge Graphs for Fact-aware Language Modeling

UnknownBody

于 2023-09-06 16:31:38 发布

阅读量402

点赞数

分类专栏： Knowledge Graph Survey Paper 文章标签：语言模型知识图谱人工智能

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/132717747

版权

Survey Paper 同时被 3 个专栏收录

261 篇文章 ¥99.90 ¥299.90

订阅专栏

超级会员免费看

Knowledge Graph

79 篇文章 ¥99.90 ¥299.90

订阅专栏

LLM 日更

828 篇文章

已下架不支持订阅

本文探讨了大型语言模型（LLM）在处理事实知识时的局限性，提出通过结合知识图谱（KGs）来增强LLM，以改善其事实推理能力和问答系统的性能。KGPLMs（知识图谱增强的预训练语言模型）通过整合KGs的知识，提升了LLM在结构化推理和可解释预测的能力。研究发现，KGPLMs在常见问答数据集上超越了传统PLM。文章强调了即使在LLM时代，KGs仍然具有不可替代的价值，并提出了未来KGLLM的发展方向。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文是LLM系列文章，针对《ChatGPT is not Enough: Enhancing Large Language Models with Knowledge Graphs for Fact-aware Language Modeling》的翻译。

摘要

近年来，具有代表性的大型语言模型（LLM）ChatGPT由于其强大的涌现能力而备受关注。一些研究人员认为，LLM有可能取代知识图谱等结构化知识库，并作为参数化知识库发挥作用。然而，尽管LLM精通基于大型语料库的概率语言模式学习和与人类的对话，但与以前较小的预训练语言模型（PLM）一样，它们在生成基于知识的内容时，仍然难以回忆事实。为了克服这些限制，研究人员提出用基于知识的KGs增强数据驱动的PLM，将明确的事实知识纳入PLM中，从而提高其生成需要事实知识的文本的性能，并为用户查询提供更明智的响应。本文综述了用知识图谱增强预训练语言模型（KGPLM）的研究，详细介绍了现有的知识图谱增强预训练语言模型及其应用。受现有KGPLM研究的启发，本文提出通过开发知识图谱增强的大型语言模型（KGLLM）来增强KGs的LLM。KGLLM为提高LLM的事实推理能力提供了一种解决方案，为LLM研究开辟了新的途径。