【知识图谱与大模型 】利用大型语言模型自动构建知识图谱

导读

大模型刚火起来的时候， 很多人认为知识图谱没前途了，会被大模型代替，因为知识已经被学到大模型肚子里了。跑了半天后，发现不是那么回事，发现大模型和知识图谱就是两个层面的东西， 从我的角度：

前排提示，文末有大模型AGI-优快云独家资料包哦！

• 知识图谱更偏加工出来的产品， 这个产品既可以用到其他场景， 也可以反过来提升大模型的准确性

• 大模型即可以作为工具加工生产知识图谱， 也可以使用知识图谱提升自己的准确性。

阅读本系列将了解如何使用大模型自动构建知识图谱

如何使用大模型构构建知识图谱也可参见：

介绍

知识图谱(Knowledge Graph)是以Graph 形式表示数据的网络。

知识图谱的美妙之处在于它们将概念、事件和实体表示为节点，它们之间的关系表示为边。这些关系决定了节点的上下文，因此可以更好地理解单词的语义，并区分其多种可能的含义。

例如，谷歌的知识图谱支持谷歌搜索，可以区分品牌“苹果”和水果“苹果”。

知识图谱适用于各种领域和应用，包括零售产品推荐、搜索引擎优化、反洗钱倡议和医疗保健，金融场景

然而，知识图谱的使用，也存在非常多的挑战、昂贵和耗时的构建过程，而且很多时候还伴随这大量的人工参与。

经常在数据前，需要人工根据业务，去定义各种本体，属性；边和节点产生后，需要人工进行校验数据的准确性，而且这个过程是需要一直迭代进行。成本非常高。

这一挑战催生了一波新的研究：探索如何自动知识图谱构建。

特别是人们对将大型语言模型（LLMs）如GPT-4整合到构建过程中的兴趣日益增长，因为它们具有出色的语言处理能力。

在本文中，我们将首先简要探讨与知识图谱构建相关的困难。然后，我们将比较知识图谱和LLMs作为知识库。

最后，我们将回顾利用LLMs进行自动知识图谱构建的现有方法。

构建知识图谱的困难点

以往的知识图谱构建方法基于众包或文本挖掘。

像WordNet和ConceptNet这样的知识图谱是通过大量人力构建的，但受限于预定义的关系集。

与此同时，基于文本挖掘的方法从文档中提取知识，但仅限于文本中明确陈述的关系。

这种方法还涉及诸多步骤，如共指消解，命名实体识别等。

这些困难还受到了不同领域或应用构建不同知识图谱的事实的影响。

例如考虑到每个领域中使用的各种概念和术语，所以没有通用的方法来创建知识图谱。

特定领域也提出了自己的挑战。例如，在服务计算社区中，知识图谱在资源管理、个性化推荐和客户理解方面非常有用。

然而，在这种情境下的知识图谱需要来自不同领域的知识和概念，并且构建知识图谱所需的数据既分散又大部分未注释。

这些因素显著增加了制作知识图谱所需的时间、精力和成本。

知识图谱与大型语言模型的比较

知识图谱和LLM都可以被查询以检索知识。

在下图中，知识图谱通过查找相关联的节点来定位答案，而LLM被提示填写[MASK]标记以完成句子。

像GPT-4和BERT这样的LLM最近因其出色的语言理解能力而受到了很多关注。

众所周知，LLM模型数量， 以及使用量， 应用数量每年都在不断增长，并且在大量数据的训练下，使它们拥有了巨大的知识。

许多人可能会转向ChatGPT来提问，而不是在谷歌上搜索。

自然而然地，研究界的下一个问题是探索LLM（如GPT）是否可以取代知识图谱（如谷歌知识图谱）成为主要的知识来源。

进一步的研究表明，尽管拥有更多的基础世界知识，LLM仍然难以回忆关系事实和推断行为和事件之间的关系。

虽然LLM具有许多优势，但LLM也面临挑战，例如：

1. 幻觉：LLM偶尔会产生令人信服但不正确的信息。相反，知识图谱提供了基于事实数据的结构化和明确的知识。

2. 有限的推理能力：LLM难以理解和使用支持证据来得出结论，特别是在数值计算或符号推理方面。知识图谱中捕获的关系允许更好的推理能力。

3. 缺乏领域知识：虽然LLM在大量的通用数据上进行了训练，但它们缺乏来自特定领域数据的知识，如具有特定技术术语的医学或科学报告。与此同时，知识图谱可以针对特定领域进行构建。

4. 知识过时：LLM的训练成本高昂，并且不经常更新，导致它们的知识随着时间的推移而过时。另一方面，知识图谱具有更简单的更新过程，无需重新训练。

5. 偏见、隐私和毒性：LLM可能会给出有偏见或冒犯性的回应，而知识图谱通常是由可靠的数据源构建而成，不受这些偏见的影响。

知识图谱不会遇到这些问题，并且表现出更好的一致性、推理能力和可解释性，尽管它们也有自己的一系列局限性。除了之前讨论过的问题外，知识图谱还缺乏LLM从无监督训练过程中获得的灵活性。

合并Knowledge和LLM

因此，已经有许多研究工作旨在合并LLM和知识图谱。

虽然知识图谱具有指导LLM更准确的能力，但LLM可以在构建过程中辅助知识图谱提取知识并提高知识图谱的质量。

有几种方法可以合并这两个概念：

• 利用LLM辅助自动知识图谱构建：LLM可以从数据中提取知识以填充知识图谱。下面将讨论这种方法的更多细节。

• 教会LLM从知识图谱中搜索知识：如下图所示，知识图谱可以增强LLM的推理过程，使LLM能