【知识图谱】如何构建知识体系:知识图谱搭建的第一步

知识图谱的构建与应用 知识图谱(Knowledge Graph)是一种用于表示和组织结构化知识的图形化数据模型。它通过将现实世界中的实体(Entities)及其之间的关系(Relationships)以图的形式进行表示,从而构建一个大规模的、多领域的知识库。知识图谱的核心目标是为机器提供一个可理解、可推理的知识基础,以便于实现更智能的信息检索、数据分析和决策支持。 阅读详情

互联网时代,人类在与自然和社会的交互中生产了异常庞大的数据,这些数据中包含了大量描述自然界和人类社会客观规律有用信息。如何将这些信息有效组织起来,进行结构化的存储,就是知识图谱的内容。

知识图谱的难点在于知识图谱的搭建,如何高效、高质量、快速的搭建知识图谱是知识图谱工程的核心。今天我们介绍知识图谱搭建的第一步,知识体系的构建。

作者&编辑 | 小Dream哥

1  什么是知识体系

从直觉上看,知识图谱里包含了很多现实世界的知识。例如,知识图谱里有“腾讯”相关的信息,说明了它是中国的一家互联网公司,主要做社交媒体和游戏,创始人是马化腾。实际上,具体的实例知识只是知识图谱一个层面的内容,知识图谱中还包括了对知识数据的描述和定义,这部分对数据进行描述和定义的“元”数据被称为知识体系(schema)或者本体(ontology)。

那么,怎么理解对知识数据的描述和定义呢?简单的理解,就是对所需要构建的知识领域的高度概括和抽象,我们举一个例子来说明这个问题。如下图所示,是知识图谱中保存的关于周杰伦的实例,记录了周杰伦是一个音乐人,它签约了哪家音乐公司,身高体重等信息。

如下图所示,是关于音乐人的schema的一部分:

我们定义了“音乐人”是“人”的一个子类;它和“唱片公司”是一种“签约”的关系;“音乐人”也会“创作和表演”歌曲,同时,它也继承了“人”这个概念的一些属性,包括“身高”,“体重”和“婚姻关系”等。上述“周杰伦”,是“音乐人”这个概念在图谱中的一个实例。

通过这个例子,读者应该能够对知识体系有个比较深入的理解了。其实,也可以用面向对象编程的思想来理解知识体系和实例之间的关系。编程中的类可以“类”比知识体系中的“概念”,编程中“类的属性”可以类比知识体系中“概念的属性”,“类之间的关系”可以类比知识体系中“概念之间的关系”。类和对象之间的关系就好比知识体系中概念和其实例之间的关系。

这里总结一下,所谓的知识体系,其实就是描述我们所要构建的知识图谱所在领域的知识,这种描述是一种概括和抽象,通常用概念,概念属性以及概念之间的关系来描述。

2 知识体系的构建  

上一篇文章中我们介绍了知识表示,业内通常都是采用基于三元组的形式来表示知识,这方面无需太多的考虑,所以搭建知识图谱的第一步便是构建相应的知识体系。

介绍知识体系构建的手段之前,我想先说明一下知识体系构建必要性。知识图谱的搭建,简单来看,就是从大量的结构化或者非结构化数据中,抽取实体以及实体之间的关系。那么,所要抽取的实体有哪些类别呢?所要抽取的关系有哪些种类呢?如果是非结构化数据,怎么给语料标注呢?要回答这些问题,都需要构建一个知识体系。

1)人工构建法

目前来看,基本高质量的知识体系都只能通过人工构建。那么,怎么通过人工手动构建知识体系呢?通常,手动构建知识体系应该精通该领域的业务专家来主导,知识工程师协助完成。一般如下几个步骤构成:

1.确定领域

有读者认为知识图谱难以落地,没有应用场景。其实不然,目前的NLP任务通常都是基于某一个特定的业务场景,一个高质量的基于该领域的图谱,能够给下游的NLP任务非常大的加成。目前,比较活跃的也都是领域知识图谱。所以,通常构建知识体系的第一件事就是确定领域,以限定知识体系的知识范围。确定领域,了解业务场景,思考知识体系能够解决哪些业务问题,是第一件要做的事情。

2.借鉴

领域知识体系的构建是一个高度业务相关、极其复杂的工作。如果有可以第三方的知识体系可以借鉴是一个非常好的事情,尽可能的参考前人的工作成果,站在巨人的肩膀上,是一个比较好的策略。假如没有可以借鉴的第三方工作,比较好的策略是先构建一个轻量级的知识体系,然后在此基础上进行扩展。

3.罗列概念、属性以及关系

根据确定的领域,罗列出来在知识图谱中可能出现的概念、属性以及关系列表。实际上这是一个和业务高度相关的工作,要罗列出来这份列表,需要对知识图谱要解决哪些问题、如何使用这个知识图谱有明确的认识。

4.确定知识体系结构

当罗列出来了所有的概念、属性以及关系列表之后,需要对概念进行层次结构的分类。确定分类层级通常由两种方法:自顶向下和自底向上。自顶向下就是从最抽象的概念开始,逐层扩展添加各层概念。自底向上则是相反的过程。

5.定义属性及关系

定义好了概念之间的层次关系之后,就需要定义概念的属性以及概念之间的关系了。做到这一步,知识体系就基本构建完成了。

6.定义约束

概念的属性会有一些约束条件,需要定义好。例如,人的性别只能是“男”或者“女”,年龄应该是0-200之间的数值。

2)自动构建法

知识体系的自动构建,在面对结构化知识和非结构化知识时所采用的策略时不同的。

1.结构化知识的知识体系构建

面对结构化的知识,知识体系构建的任务其实就是提炼出来结构化语料中蕴含的概念以及概念之间的关系。结构化数据通常存储在关系型数据库中,上述任务通常就变成了分析数据表中的字段内容、主键以及外键之间的关系。

2.非结构化知识的知识体系构建

面对非结构化的知识,要自动化构建知识体系是一件难度非常大的事情。首先,要基于语料进行领域内概念的抽取。然后,基于上述过程抽取到的概念进行概念体系的构建以及概念属性关系的抽取。

上述两个过程要实现自动化,需要用大量的无监督学习算法,例如聚类,词向量表征等。

总结

知识图谱是人工智能技术最重要的基础设施,是计算机能够实现推理、预测等类似人类思考能力的关键。在知识图谱中,知识体系赋予知识图谱明确的语义信息,即概念的分类,概念的属性以及概念之间的关系等。通常,这些概念是后续知识抽取的前提,也是知识图谱进行知识推理的基础。虽然,知识体系个构建分为自动化和人工构建两种,目前比较有效的手段还是人工构建。

读者们可以留言,或者加入我们的NLP群进行讨论。感兴趣的同学可以微信搜索jen104,备注"加入有三AI NLP群"。

下期预告:实体抽取及其扩展

知识星球推荐

扫描上面的二维码,就可以加入我们的星球,助你成长为一名合格的自然语言处理算法工程师。

知识星球主要有以下内容:

(1) 聊天机器人。考虑到聊天机器人是一个非常复杂的NLP应用场景,几乎涵盖了所有的NLP任务及应用。所以小Dream哥计划以聊天机器人作为切入点,通过介绍聊天机器人的原理和实践,逐步系统的更新到大部分NLP的知识,会包括语义匹配,文本分类,意图识别,语义匹配命名实体识别、对话管理以及分词等。

(2) 知识图谱。知识图谱对于NLP各项任务效果好坏的重要性,就好比基础知识对于一个学生成绩好坏的重要性。他是NLP最重要的基础设施,目前各大公司都在着力打造知识图谱,作为一个NLP工程师,必须要熟悉和了解他。

(3) NLP预训练模型。基于海量数据,进行超大规模网络的无监督预训练。具体的任务再通过少量的样本进行Fine-Tune。这样模式是目前NLP领域最火热的模式,很有可能引领NLP进入一个全新发展高度。你怎么不深入的了解?

转载文章请后台联系

侵权必究

往期精选

iText2KG:使用LLM构建增量知识图谱(KG) 使用大型语言模型 ( LLM ) 构建增量知识图谱 ( KG ) 的 iText2KG 框架。一个强大的 KG 构建框架,该框架利用了 LLM 的优势,解决了该领域的重大挑战,并提出了一种模块化方法,可增强不同领域的灵活性和适用性。 阅读详情

相关推荐

总结:知识图谱KG+大模型LLM

知识图谱KG+大模型LLM

安静的软件工程师 4217

知识图谱构建流程步骤详解

知识图谱构建流程概览 1.知识抽取 1.1 知识抽取的主要任务 (1)实体识别与抽取 任务:识别出待处理文本中七类(人名、机构名、地名、时间、日期、货币和百分比)命名实体。 两个子任务:实体边界识别和确定实体类型。 (2)关系抽取 任务:关系抽取是从文本中抽取出两个或多个实体之间的语义关系。它是信息抽取研究领域的任务之一。 (3)属性抽取 任务:对一个给定的实体从非结构化文本中抽取出实体的属性及其属性值形成结构化数据。 1.2 实体抽取 知识抽取包括三个要素:实体抽取(命名实体识别

AIGC Studio:分享AIGC前沿知识和好玩应用,公众号同名。 5万+

LLM+知识图谱新工具! iText2KG:使用大型语言模型构建增量知识图谱

大多数可用数据都是非结构化的,因此很难获取有价值的信息。自动构建知识图谱 (KG) 对于结构化数据和使其可访问至关重要,可让用户有效地搜索信息。KG 还有助于洞察、推理和推理。传统的 NLP 方法(例如命名实体识别和关系提取)是信息检索的关键,但面临局限性,包括使用预定义的实体类型和需要监督学习。当前的研究利用大型语言模型的功能,例如零次或少量学习。然而,未解决和语义重复的实体和关系仍然带来挑战,导致图表不一致并需要大量的后处理。此外,大多数方法都依赖于主题。

AIGC Studio:分享AIGC前沿知识和好玩应用,公众号同名。 2274

知识图谱构建

介绍在知识图谱中,非常重要的:知识抽取、知识融合、知识推理、知识表示的内容;以及基于知识图谱的NL2SQL应用

青山的博客 7084

知识图谱 - 知识体系构建与知识融合

1 知识体系构建 1.1 知识体系 1. 知识体系(Knowledge Schema)对于知识数据的描述和定义,是描述知识数据的“元数据”(metadata) 2. 知识图谱:三元组为基本单元,以有向标签图为数据结构,从知识本体和知识实例两个层次,对世界万物进行体系化、规范化描述,并支持高效知识推理和语义计算的大规模知识系统。 3. 知识体系主要包含三个方面: 词汇、类别/概念的定义和描述 概念之间的相互关系:分类(Taxonomic relation)非分类(...

qq_40671063的博客 8324

KG-RAG: 知识图谱增强的检索增强生成技术

在一个具体的测试中,研究人员比较了使用和不使用KG-RAG的GPT-4在回答关于FDA批准药物的问题时的表现。结果显示,使用KG-RAG的GPT-4能够提供更加准确和详细的信息,而没有使用KG-RAG的GPT-4则可能给出不完整或过时的答案。通过将结构化知识与先进的语言理解能力相结合,KG-RAG正在推动AI系统向更智能、更可靠的方向发展,为未来的人工智能应用开辟了新的可能性。: 通过结合知识图谱的结构化信息,KG-RAG能够显著减少LLM的幻觉问题,提供更加准确和可靠的回答。

2401_87458718的博客 1757

一个增量式构建知识图谱的项目:iText2KG

该模块处理原始文档,并根据用户定义的模式将其重新表述为语义块。它通过关注相关信息并以预定义的格式对其进行结构化来提高信噪比。

m0_59164304的博客 1943

知识图谱构建全流程

知识图谱,是结构化的语义知识库,用于迅速描述物理世界中的概念及其相互关系,通过知识图谱能够将Web上的信息、数据以及链接关系聚集为知识,使信息资源更易于计算、理解以及评价,并能实现知识的快速响应和推理。当下知识图谱已在工业领域得到了广泛应用,如搜索领域的Google搜索、百度搜索,社交领域的领英经济图谱,企业信息领域的天眼查企业图谱,电商领域的淘宝商品图谱,O2O领域的美团知识大脑,医疗领域的丁香园知识图谱,以及工业制造业知识图谱等。在知识图谱技术发展初期,很多企业和科研机构会采用自顶向下的方式构建基础知识

具身机器人和通用AI 7万+

iText2KG:使用大型语言模型构建增量知识图谱

大多数可用数据都是非结构化的,因此很难访问有价值的信息。自动构建知识图谱 (KG) 对于构建数据并使其可访问至关重要,从而使用户能够有效地搜索信息。KG 还有助于洞察、推理和推理。传统的 NLP 方法(如命名实体识别和关系提取)是信息检索的关键,但面临限制,包括使用预定义的实体类型和监督学习的需求。目前的研究利用了大型语言模型的功能,例如零样本或少样本学习。但是,未解析和语义重复的实体和关系仍然会带来挑战,导致图形不一致,并且需要大量的后处理。此外,大多数方法都与主题相关。

m0_59235945的博客 2778

知识图谱-构建:知识图谱构建流程【本体构建、知识抽取(实体抽取、 关系抽取、属性抽取)、知识表示、知识融合、知识存储】

旅游领域的类是用来描述旅游的抽象化概念术语,是对众多旅游个体共性的概念化描述。术语是划分类的基础,根据构建领域本体的目标和具体需要,可以确定哪些术语能作为领域本体的类。在以上抽取的众多旅游领域术语中,有些是能直接作为类的,如旅游、人物、交通方式、景区等等,而有些则不能作为类,如票价、景区门票、联系方式等等,它们只是属性。“旅游”很明显是最顶层的类,是父类。然后,要确定旅游的子类,根据大众标签里体现的共性和《中国分类主题词表》确定了旅游领域的11个核心概念,即本体层次结构图数据属性(固有属性)...

u013250861的博客 4万+

全面解析:时延扩展与相干带宽、多普勒扩展与相干时间——无线通信基础

时延扩展与相干带宽 多径时延扩展与多径衰落 接收机所接收到的信号是通过不同的直射、反射、折射等路径到达接收机。由于电波通过各个路径的距离不同, 因而各条路径中发射波的到达时间不同,造成多径时延扩展。距离不同所以到达接收机的相位也不相同,不同相位的多个信号在接收端叠加, 如果同相叠加则会使信号幅度增强, 而反相叠加则会削弱信号幅度。 这样,接收信号的幅度将会发生急剧变化,就会产生多径衰落。 ...

king阿金 4万+

iText2KG:显著降低LLM构建知识图谱时的幻觉现象

知识图谱大多数数据都是非结构化的,难以提取有价值的信息。自动构建知识图谱(KGs)是解决这一问题的关键,它不仅使数据结构化,便于用户高效搜索,还能促进洞察和推理。传统的自然语言处理方法,如命名实体识别和关系提取,虽在信息检索中起重要作用,但受限于预定义实体类型和监督学习需求。当前研究利用大型语言模型的零-或少量-shot 学习能力,但仍面临未解决和语义重复的实体与关系问题,导致图谱不一致和大量后处理需求。此外,多数方法依赖特定主题。

qkh1234567的博客 1935

【向量数据库】Milvus向量数据库 ① 从入门到实战

Milvus是专为海量高维向量设计的开源数据库,支持AI搜索、图像识别、推荐系统等场景。相比传统关系型数据库(如PostgreSQL),它更高效处理语义检索、非结构化数据存储,可毫秒级响应亿级向量查询。单机场景下,推荐配置8GB内存/32GB硬盘,支持FAISS/HNSW等索引算法,支持GPU加速。本文涵盖优快云专属部署教程(CentOS脚本/配置调优),提供避坑指南与扩展资源,并对比分析与传统数据库差异。适合算法工程师、AI开发人员快速上手,附官方下载与性能测试技巧,手把手教你搭建高效向量检索系统!

xiezhiyi007的专栏 1590

知识图谱(三)——知识体系构建和知识融合

知识图谱不仅包含具体的实例知识数据,还包括对知识数据的描述和定义。该部分对数据进行描述和定义的“元”数据被称为知识体系(Schema)或本体(Ontology)。 知识融合主要方法:框架匹配和实例对齐。 一、知识体系构建 1、概述 知识体系包含三方面的核心内容: 概念的分类 概念属性的描述 概念之间相互关系 知识体系的基本形态包含五个层次(难度升序):词汇(Terms)、概念(Concepts...

盛夏光年 9747

前端埋点的实践

1、前言 开始正文前先介绍一下埋点的概念~,(熟悉的朋友可以略过) 前端埋点: 是一种手段,它的目的是上报相关行为数据,相关人员以数据为依据来分析产品在用户端的使用情况,根据分析出来的结果辅助产品优化、迭代。 BI:商业智能,公司内部做数据分析相关的部门。 2、背景 在流量红利逐渐消失的现在,数据的采集、分析和精细化的运营显得更加重要,所以埋点的需求在互联网产品中是很常见的,目的上面也提到了。我们的追求就是又快又好的做好埋点工作,但是现实却不那么美好;目前我们团队在前端埋点方面存在一些痛点: 在构造埋点字段

Arui_0的博客 1773

基于PLC的全自动洗衣机控制系统+控制程序

本设计使用PLC控制系统替换了传统的继电器控制系统,实现了全自动洗衣机在硬件方面的提升,丰富了全自动洗衣机在软件方面的功能,提高了全自动洗衣机的洗衣效率,基本可以满足用户的洗衣需求。

zzzz114231的博客 8957

CAS-KG——知识体系构建与知识融合

说明:CAS是国科大的简称,KG是知识图谱的缩写,这个栏目之下是我整理的国科大学习到的知识图谱的相关笔记。 课程目标 了解以知识图谱为代表的大数据知识工程的基本问题和方法 掌握基于知识图谱的语义计算关键技术 具备建立小型知识图谱并据此进行数据分析应用的能力 教学安排 详情请见博客:CAS-KG——课程安排 文章目录1. 知识体系构建什么是知识体系如何手工构建知识体系如何自动构建知识体系基于半结构化数据的知识体系挖掘基于非结构化数据(纯文本)的知识体系构建概念抽取:术语(Terminology)抽取同义

qq_38293297的博客 532

从Datasheet到可用的Verilog模块:手把手教你为N25Q128 SPI Flash写状态机驱动

本文详细介绍了如何从Datasheet到实现可用的Verilog模块,手把手教你为N25Q128 SPI Flash编写状态机驱动。文章涵盖SPI Flash的核心工作机制、数据手册解析方法、Verilog状态机设计实践以及调试与性能优化技巧,特别适合FPGA开发者和硬件设计工程师参考。

weixin_30596023的博客 177

Docs2KG:构建统一知识图谱的强大工具

Docs2KG:构建统一知识图谱的强大工具 项目介绍 Docs2KG 是一个开源框架,旨在从异构文档中统一构建知识图谱,借助大型语言模型的力量。该项目允许用户轻松处理非结构化数据,并将其转化为结构化的统一多模态知识图谱。这使得文档信息的查询和探索变得更加高效,尤其适用于处理包括电子邮件、网页、PDF文件和Excel文件等多种格式的数据。 项目技术分析 Docs2KG 的核心是双路径数据处理和统一多...

gitblog_01096的博客 1169

VN5620硬件接口介绍

VECTOR, VN5620, 诊断

Fecostar的博客 7488

把 SNC 支持的通信链路一次讲透,SAP GUI、RFC、CPIC、SAProuter 到底谁在保护谁

摘要: SNC(Secure Network Communications)是SAP系统中用于保护特定通信链路的安全机制,主要应用于DIAG、RFC、CPIC等SAP协议,而非HTTP等互联网协议(后者由SSL/TLS处理)。其核心在于保护通信端点之间的逻辑链路,需在发起方和接收方同时配置SNC参数,包括SNC名称、保护等级(QoP)等。实际项目中,SNC的配置涉及多个层面,如SAP GUI到ABAP平台的登录链路、外部程序通过RFC/CPIC连接ABAP的认证、ABAP系统间的跨系统通信等。配置不当可能导

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 254

ACL 24|SAC-KG:利用大模型自动构造领域知识图谱

最后,利用领域语料库,可以为输入实体生成单个级别的知识图谱,它随后将被合并到生成的新级别的知识图谱中。近年来,基于大语言模型(Large Language Models, LLMs)的方法成为新趋势,通过利用 LLM 中存储的先验知识从原始语料库中提取三元组,相比基于规则的方法能够取得更好的表现,且具有创造性、更易被人类理解。例如,三元组“(稻米,最佳生长温度,20-25摄氏度)”是一个正确的三元组,而其尾部实体“20-25摄氏度”不需要作为下一级三元组的头部实体进一步生成。(ii) 格式检测。

具身机器人和通用AI 1349

计算机网络基础:揭开网络世界的神秘面纱

计算机网络基础:揭开网络世界的神秘面纱,计算机网络已深度融入现代生活,这篇文章对其基础内容展开全面阐述。开篇介绍计算机网络的定义,说明其由计算机设备、网络设备和传输介质构成。接着从地域范围和拓扑结构两个维度对计算机网络进行分类,并详细讲解 OSI 和 TCP/IP 参考模型,明晰各层功能与联系。随后阐述网络通信协议的定义及常见协议,如 TCP/IP、HTTP 等。最后聚焦网络安全,涵盖定义、重要性以及防火墙、加密技术等常用安全技术。文章旨在帮助读者构建计算机网络基础知识体系,理解其在生活和工作中的应用与价值

不踩坑,不知道坑有多深;不总结,踩过的坑白踩。 6万+

收藏级干货!ACL2025清华Tree-KG:AI知识图谱构建的终极指南,一篇就够了!

在人工智能的研究与应用中,**知识图谱(Knowledge Graph, KG)**已成为不可或缺的基石。无论是搜索引擎、智能问答,还是学术研究、教育应用,知识图谱都能帮助我们把碎片化的信息组织成结构化的知识网络。

m0_59164520的博客 1925

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

上一篇: 【每周CV论文推荐】 初学深度学习单张图像三维人脸重建需要读的文章
下一篇: 【杂谈】有三AI秋季划火热进行中,如何深入学习模型优化,人脸算法,图像质量等研究方向...
言有三
言有三 领域专家: 人工智能技术领域 领域专家: 人工智能技术领域
博客等级 码龄15年 3635粉丝 976原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

言有三

三人行必有AI

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值