Learning Hierarchy-Aware Knowledge Graph Embeddings for Link Prediction翻译笔记（学习层次感知的知识图嵌入以进行链接预测）

最新推荐文章于 2024-06-07 09:54:49 发布

QYLZ

最新推荐文章于 2024-06-07 09:54:49 发布

阅读量867

点赞数 12

分类专栏：论文笔记文章标签：知识图谱笔记学习自然语言处理人工智能语言模型机器学习

本文链接：https://blog.youkuaiyun.com/weixin_56242678/article/details/137619282

版权

在这里插入图片描述

论文标题：学习层次感知的知识图嵌入以进行链接预测

论文链接：https://arxiv.org/abs/1911.09419
arXiv:1911.09419v3 [cs.LG] 6 Apr 2022

摘要

知识图谱嵌入，旨在将实体和关系表示为低维度的向量（或矩阵、张量等），已被证明是预测知识图中缺失链接的强大技术。现有的知识图谱嵌入模型主要关注建模关系模式，如对称性/反对称性、反转和组合。然而，许多现有方法无法建模语义层次结构，而这些层次结构在实际应用中很常见。为了解决这个挑战，我们提出了一种新颖的知识图谱嵌入模型——即，层次感知知识图谱嵌入（HAKE）——它将实体映射到极坐标系统中。HAKE的灵感来源于在极坐标系统中的同心圆可以自然地反映层次结构。具体来说，径向坐标旨在模拟不同层次的实体，而半径较小的实体被期望处于更高层次；角度坐标旨在区分处于同一层次的实体，这些实体预计具有大致相同的半径但不同的角度。实验表明，HAKE能够有效地在知识图谱中建立语义层次结构，并在链接预测任务的基准数据集上显著优于现有的最先进方法。

1 介绍

知识图谱通常是事实性三元组的集合 - (头部实体，关系，尾部实体)，以结构化方式表示人类知识。在过去的几年里，我们见证了知识图谱在许多领域的伟大成就，如自然语言处理（Zhang等，2019），问答系统（Huang等，2019）和推荐系统（Wang等，2018）。尽管常用的知识图谱包含数十亿的三元组，但它们仍然受到不完整性问题的困扰，即缺失很多有效的三元组，因为手动找到所有有效的三元组是不现实的。因此，知识图谱补全（也称为知识图谱中的链接预测）最近引起了广泛关注。链接预测旨在根据已知的链接自动预测实体之间的缺失链接。一个具有挑战性的任务是不仅需要预测两个实体之间是否存在关系，还需要确定具体是什么关系。

受词向量（Mikolov 等人，2013）能很好地捕捉词语语义的启发，研究人员转向知识图谱的分布式表示（又称知识图谱嵌入）来解决链接预测问题。知识图谱嵌入式方法将实体和关系视为低维度的向量（或矩阵、张量），这些向量可以被有效地存储和计算。此外，就像在词嵌入中一样，知识图谱嵌入式方法可以保留实体和关系的语义和内在结构。因此，除了链接预测任务外，知识图谱嵌入还可以用于各种下游任务，如三元组分类（林等人，2015年），关系推断（郭、孙和胡，2019年）和搜索个性化（阮等人，2019年）。

现有知识图谱嵌入模型的成功在很大程度上依赖于它们对关系连接模式的建模能力，如对称性、反对称性、反转和组合（Sun等，2019）。例如，TransE（Bordes等，2013）将关系表示为翻译，可以模拟反转和组合模式。DistMult（杨等人，2015年）可以模型化头实体、关系和尾实体之间的三重交互，从而模拟对称模式。RotatE（孙等人，2019年）将实体表示为复数空间中的点，将关系表示为旋转，可以模拟包括对称性/反对称性、反转和组合在内的关系模式。然而，许多现有的模型无法模拟知识图谱中的语义层次结构。

语义层次是知识图谱中普遍存在的属性。例如，WordNet（Miller 1995）包含了一个三元组[arbor/cassia/palm，hypernym，tree]，在这个层次结构中，“tree”比“arbor/cassia/palm”处于更高的层级。Freebase（Bollacker等人2008年提出）包含了一个三元组[英格兰，/location/location/contains，Ponte-frac t兰开斯特]，在这个层次结构中，“Ponte-fract兰开斯特”比“英格兰”处于更低的层级。尽管已经有一些工作考虑到了层次结构（Xie, Liu, and Sun 2016；Zhang et al. 2018），但它们通常需要额外的数据或过程来获取层次信息。因此，找到一种能够自动且有效地建模语义层次的方法仍然具有挑战性。

在本文中，我们提出了一种新颖的知识图嵌入模型，即 “意识到层次结构的知识图嵌入（HAKE）”。为了建立语义层次模型，HAKE 将实体分为两类：(a) 不同层次的实体；(b) 同一层次的实体。受具有层次属性的实体可被视为一棵树这一事实的启发，我们可以使用节点（实体）的深度来模拟层次结构的不同层次。因此，我们使用模量信息来为类别（a）中的实体建模，因为模量的大小可以反映深度。在上述设置下，类别（b）中的实体将具有大致相同的模量，很难区分。受同一圆上的点可能具有不同相位的启发，我们使用相位信息来为类别（b）中的实体建模。结合模量和相位信息，HAKE 将实体映射到极坐标系中，其中径向坐标对应模量信息，角坐标对应相位信息。实验表明，我们提出的 HAKE 模型不仅能清晰地区分实体的语义层次，而且在基准数据集上的表现明显优于几种最先进的方法。

符号在本文中，我们使用小写字母 h、r 和 t 分别表示头部实体、关系和尾部实体。三元组（h、r、t）表示知识图谱中的事实。相应的黑体小写字母 h、r 和 t 表示头部实体、关系和尾部实体的嵌入（向量）。向量 h 的第 i 个条目表示为 [h]_i。让 k 表示嵌入维度。

让 ◦ : $\mathbb{R}$ ⁿ × $\mathbb{R}$ ⁿ → $\mathbb{R}$ ⁿ 表示两个向量之间的哈达玛乘积，即
在这里插入图片描述
和 ∥ · ∥₁, ∥ · ∥₂ 分别表示 ℓ₁ 和 ℓ₂ 规范。

2 相关工作

在本节中，我们将从模型类别和知识图谱中层次结构的建模方法这两个方面来介绍相关工作以及它们与我们的工作之间的主要区别。

模型类别

粗略地说，我们可以把知识图谱嵌入模型分为三类–翻译距离模型、双线性模型和基于神经网络的模型。表 1 列出了几种流行的模型。
在这里插入图片描述

表 1：其中，◦ 表示哈达玛乘积，f 表示激活函数，∗ 表示二维卷积，ω 表示卷积层中的滤波器。在 ComplEx 模型中，¯- 表示复向量的共轭；在 ConvE 模型中，¯- 表示实向量的二维重塑。

翻译距离模型将关系描述为从源实体到目标实体的翻译。TransE（Bordes 等人，2013 年）假设实体和关系满足 h + r ≈ t，其中 h、r、t∈ $\mathbb{R}$ ⁿ，并将相应的得分函数定义为 f_r(h, t) =-∥h+r-t∥_1/2。然而，TransE 在 1-N、N-1 和 N-N 关系上表现不佳（Wang 等人，2014 年）。TransH（Wang 等人，2014 年）克服了多对多关系的问题，允许实体在不同关系下有不同的表示。

得分函数定义为 f_r(h, t) = -∥h_⊥+r-t_⊥∥₂