知识图谱的学习

参考：基于知识图谱的用户画像构建与应用_利用知识图谱完成用户画像-优快云博客

用户画像作为一种重要的数据分析方法，已经在精准营销、内容推荐、用户需求预测等领域得到了广泛应用。传统的用户画像多依赖单一数据源，难以全面刻画用户特征。而知识图谱因其强大的语义建模和关系挖掘能力，成为构建精准用户画像的重要工具。

1、知识图谱再用户画像中的作用

知识图谱通过整合多源异构数据，构建语义关联和多维关系网络，不仅提高了用户画像的精准性，还增强了其动态更新能力和可解释性。

参考：知识图谱构建与应用-优快云博客

知识图谱（Knowledge Graph）是人工智能的重要分支技术，它在2012年由谷歌提出，是结构化的语义知识库，用于以符号形式描述物理世界中的概念及其相互关系，其基本组成单位是“实体—关系—实体”三元组，以及实体及其相关属性—值对，实体间通过关系相互联结，构成网状的知识结构。

从字面上看，知识图谱就是用图的形式将知识表示出来。图中的结点代表语义实体或概念，边代表结点间的各种语义关系。
上图不同节点之间的关系可以表示为三元组，例如<上海星时网络科技有限公司，公司法人，杜耀斐>表示公司的法人是某某某。

这是一种常用的基于符号的知识表示方式——资源描述框架（Resource Description Framework，RDF），它把知识表示为一个包含主语（Subject）、谓语（Predicate）和宾语（Object）的三元组<S,P,O>。

知识图谱分类

知识图谱按照功能和应用场景可以分为通用知识图谱和领域知识图谱。

其中通用知识图谱面向的是通用领域，强调知识的广度，形态通常为结构化的百科知识，针对的使用者主要为普通用户；
领域知识图谱则面向某一特定领域，强调知识的深度，通常需要基于该行业的数据库进行构建，针对的使用者为行业内的从业人员以及潜在的业内人士等。

知识图谱的表示和存储

知识表示的方式主要有以下几种：

语义网络：是一个通过语义关系连接的概念网络，将知识表示为相互连接的点和边的模式。节点：实体、事件、值；边：对象间的语义关系。语义网络中最基本的语义单元称为语义基元，用<节点1，关系，节点2>表示。如“珊瑚是一种动物”，<珊瑚，属于，动物>。

万维网联盟W3C制定了一系列的标准语言来对知识进行表示和建模，如RDF、RDFS（RDF Schema）和OWL（Ontology Web Language）

1. RDF (Resource Description Framework, 资源描述框架)：这是最基础的标准。RDF 提供了一种通用的、基于三元组（主体-谓词-客体）的模型来描述网络资源。它本身是一种数据模型，可以用多种语法（如 RDF/XML, Turtle, N-Triples）来表示。

2. RDFS (RDF Schema, RDF模式)：建立在RDF之上，RDFS 提供了一套基本的词汇（如 rdfs:Class, rdfs:subClassOf, rdfs:domain, rdfs:range）来定义类（Classes）、属性（Properties）以及它们之间的层次关系，从而为RDF数据提供了一定的**模式（Schema）或本体（Ontology）**结构。

3. OWL (Web Ontology Language, 网络本体语言)：这是比RDFS更强大、表达能力更强的本体语言。OWL 允许定义更复杂的类关系（如等价类、不相交类）、属性特性（如传递性、对称性）以及更精确的约束。它使得能够进行更复杂的逻辑推理。需要注意的是，虽然OWL是W3C推荐标准，但其设计受到了描述逻辑（Description Logics）等人工智能领域研究的深刻影响。

框架：是一种描述所讨论对象（事物、事件、概念等）属性和行为的数据结构。框架的最高层次是固定的，以框架的结构存储，根据实际情况对框架内的具体值进行填充，填充的部分称为槽（Slots）。在槽中填入具体值，就可以得到一个描述具体事务的框架，每一个槽都可以有一些附加说明–被称为侧面（Facet），其作用是指出槽的取值范围和求值方法等。
框架举例：<教师>包含九个槽，若存在一个教师的实体，需要对教师框架中的槽(或部分槽)进行填充。
<教师实例>{<姓名>{张三}，<年龄>{30}，<学校>{北京大学}，<院系>{人工智能学院}，<职称>{讲师}}

知识图谱的存储方式：

主要数据模型有RDF图和属性图两种，形成了RDF数据的三元组库和属性图的图数据库。一种是基于 RDF 的存储；另一种是基于图数据库的存储。它们之间的区别如下图所示。RDF 一个重要的设计原则是数据的易发布以及共享，图数据库则把重点放在了高效的图查询和搜索上。RDF 以三元组的方式来存储数据而且不包含属性信息，但图数据库一般以属性图为基本的表示形式，所以实体和关系可以包含属性，这就意味着更容易表达现实的业务场景。

Neo4j 系统目前仍是使用率最高的图数据库，它拥有活跃的社区，而且系统本身的查询效率高，但唯一的不足就是不支持准分布式。

知识图谱一般构建流程

在知识融合阶段中的知识融合、指代消歧和实体歧会比较陌生，下面来简单介绍一下：

在实体命名识别和关系抽取过程中，有两个比较棘手的问题：

一个是实体统一，也就是说有些实体写法上不一样，但其实是指向同一个实体。

比如“NYC”和“New York”表面上是不同的字符串，但其实指的都是纽约这个城市，需要合并。

实体统一不仅可以减少实体的种类，也可以降低图谱的稀疏性（Sparsity）；

指代消解，也是文本中出现的“it”, “he”, “she”这些词到底指向哪个实体，指代消解总的来说是为了避免代词指代不清的情况。

知识融合则包括实体统一和指代消解两个任务，它们都用来判断知识库中的同名实体是代表同一含义、是否有其他实体也表示相同含义。实体消歧专门用于解决同名实体产生歧义的问题，通常采用聚类法、空间向量模型、语义模型等。

知识加工的阶段中，知识推理也是很重要的一环。基于知识图的知识推理旨在识别错误并从现有数据中推断新结论。通过知识推理可以导出实体间的新关系，并反馈以丰富知识图，从而支持高级应用。

二、实体关系抽取的模型搭建与应用

实体识别阶段模型示意图：

2.实体关系联合抽取

参考：知识图谱：结构化知识的智能网络

知识图谱（Knowledge Graph）是一种以图形化结构系统化组织、存储和呈现知识的技术框架，其核心是通过“实体-关系-实体”的三元组构建语义网络，揭示事物间的关联性。

一、核心概念

知识图谱的基础由三个核心要素构成，辅以本体框架规范数据结构：

（一）实体（Entity）
代表现实世界中的具体或抽象对象，如人物、地点、组织、概念等。例如，“苹果”既可指水果，也可指科技公司，需通过上下文消歧。

（二）关系（Relation）
描述实体间的语义联系，如“属于”“创始人”“总部位于”等。例如，“乔布斯-创始人-苹果公司”构成一个三元组。

（三）属性（Attribute）
补充实体的特征信息，如“苹果-颜色-红色”“苹果公司-成立时间-1976年”。

（四）本体（Ontology）
定义知识图谱的框架，包括实体分类、关系类型及逻辑规则，确保数据的一致性与可扩展性。例如，在医疗图谱中明确“疾病”与“症状”的关联规则。

二、技术架构

知识图谱的构建与运行依赖分层技术体系，涵盖数据、存储与应用三大层级：

（一）数据层

数据来源：包括结构化数据（如数据库表）、半结构化数据（如HTML、XML）和非结构化数据（如文本、图像）。

知识抽取：通过自然语言处理（NLP）技术从文本中提取三元组，例如从新闻中识别“公司A-收购-公司B”的关系。

知识融合：解决多源数据的冲突与冗余，统一实体标识（如“苹果”与“Apple Inc.”的消歧），并合并重复信息。

（二）存储层

图数据库：如Neo4j、JanusGraph，支持高效图遍历和关系查询，适合处理复杂关联数据。

RDF存储：基于资源描述框架（RDF）的三元组存储，兼容语义网标准（如W3C的OWL语言），便于跨系统共享。

（三）应用层

查询与推理：通过SPARQL等语言检索知识，或基于规则推理隐含关系（如家族关系链推理）。

可视化：以节点-边图形展示知识网络，辅助用户直观理解复杂关系（如社交网络中的影响力分析）。

三、关键技术

知识图谱的智能化升级依赖以下核心技术突破：

一）知识表示学习

将实体和关系映射为低维向量（如TransE、RotatE模型），支持计算相似度和推理。例如，通过向量运算判断“北京-属于-中国”与“巴黎-属于-法国”的相似性。

（二）图神经网络（GNN）

利用深度学习处理图结构数据，提升关系预测和实体分类的准确性。例如，在金融风控中识别企业间的隐性关联。

（三）多模态融合

结合文本、图像、视频等多源数据构建跨模态知识图谱。例如，通过电影剧本和海报共同理解角色关系，或结合医学影像与病历诊断疾病。

参考：知识图谱介绍-优快云博客

知识图谱vs关系数据库vs传统知识库

知识图谱中的知识表示方法

1.知识图谱中的概念

实体 (entity)：现实世界中可区分、可识别的事物或概念。 ➢ 客观对象：人物、地点、机构 ➢ 抽象事件：电影、奖项、赛事

关系 (relation)：实体和实体之间的语义关联。

事实 (fact)：陈述两个实体之间关系的断言，通常表示为 (head entity, relation, tail entity) 三元组形式。
四.实体识别

1.信息抽取

概念：从自然语言文本中抽取指定类型的实体、关系、事件等事实信息， 并形成结构化数据输出的文本处理技术

主要任务：实体识别与抽取，关系抽取，时间抽取，实体消歧

2.命名实体识别（Named Entity Recognition，简称NER）

定义：狭义地讲，命名实体指现实世界中具体或抽象的实体 ， 如人（张三）、机构（哈尔滨工业大学）、地点等，通常用唯一的标志符(专有名称）表示。

广义地讲，命名实体还可以包含时间（12：00）、日 期（2017年10月17日）、数量表达式（100）、金钱 （一亿美金）等

任务：一般而言，主要是识别出待处理文本中七类（人名、机构名、地名、时间、日期、货币和百分比）命名实体。两个子任务：实体边界识别和确定实体类别。

特点：时间、日期、货币和百分比的构成有比较明显的规律， 识别起来相对容易。人名、地名、机构名的用字灵活，识别的难度很大。

人名识别在英文中已得到很好的研究，因为英文本身具有一些明显特征(如大小写)，但在中文中仍是一个难点，除此之外，中文地名，音译名的识别也难度巨大

方法：

（1）基于规则和词典的方法：基于规则的方法多采用语言学专家手工构造规则模板,选用特征包括统计信息、标点符号、关键字、指示词和方向词、位置词(如尾字)、中心词等方法，以模式和字符串相匹配为主要手段，这类系统大多依赖于知识库和词典的建立。

（2）基于统计机器学习的方法主要包括：隐马尔可夫模型(HiddenMarkovMode,HMM)、最大熵(MaxmiumEntropy,ME)、支持向量机(Support VectorMachine,SVM)、条件随机场(ConditionalRandom Fields,CRF)等
 

（3）混合方法：

a.统计学习方法之间或内部层叠融合。

b. 规则、词典和机器学习方法之间的融合，其核心是融合方法技术。在基于统计的学习方法中引入部分规则，将机器学习和人工知识结合起来。

c. 将各类模型、算法结合起来，将前一级模型的结果作为下一级的训练数据，并用这些训练数据对模型进行训练，得到下一级模型。

实现方案：BERT+BiLSTM+CRF用于命名实体识别是目前最常见的方案，除此之外还有LSTM+CRF