论文：Learning Hierarchy-Aware Knowledge Graph Embeddings for Link Prediction翻译笔记(学习层次感知的知识图嵌入以进行链接预测)

---

前言

例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。

---

论文题目：学习层次感知的知识图嵌入以进行链接预测

论文链接：https://arxiv.org/abs/1911.09419
arXiv:1911.09419v3 [cs.LG] 6 Apr 2022

摘要

知识图谱嵌入，旨在将实体和关系表示为低维度的向量（或矩阵、张量等），已被证明是预测知识图中缺失链接的强大技术。现有的知识图谱嵌入模型主要关注建模关系模式，如对称性/反对称性、反转和组合。然而，许多现有的方法未能对语义层次结构进行建模，而这种层次结构在现实世界应用中非常常见。为了解决这一挑战，我们提出了一种新颖的知识图谱嵌入模型——即层次感知知识图谱嵌入（HAKE）——它将实体映射到极坐标系统。HAKE的灵感来源于极坐标系统中的同心圆可以自然地反映层次结构这一事实。具体来说，径向坐标旨在模拟不同层次的实体，而半径较小的实体被期望处于更高层次；角度坐标旨在区分处于同一层次的实体，这些实体被期望具有大致相同的半径但不同的角度。实验表明，HAKE能够有效地在知识图谱中建立语义层次结构，并在链接预测任务的基准数据集上显著优于现有的最先进方法。

1 介绍

知识图谱通常是事实三元组的集合，包括头部实体、关系和尾部实体，以结构化方式表示人类知识。在过去的几年里，我们见证了知识图谱在许多领域的巨大成就，如自然语言处理（Zhang et al. 2019）、问答系统（Huang et al. 2019）和推荐系统（Wang et al. 2018）。

尽管常用的知识图谱包含数十亿的三元组，但它们仍然受到不完整性问题的困扰，即缺失很多有效的三元组，因为手动找到所有有效的三元组是不现实的。因此，知识图谱补全，也称为知识图谱中的链接预测，最近受到了广泛关注。链接预测旨在根据已知的链接自动预测实体之间的缺失链接。这是一项具有挑战性的任务，因为我们不仅需要预测两个实体之间是否存在关系，还需要确定它们之间的具体关系是什么。

受单词嵌入（Mikolov 等，2013）的启发，研究人员开始转向知识图谱的分布式表示（即知识图谱嵌入），以解决链接预测问题。知识图谱嵌入将实体和关系视为低维度的向量（或矩阵、张量），这些向量可以高效地存储和计算。此外，与词嵌入类似，知识图谱嵌入可以保留实体和关系的语义和内在结构。因此，除了链接预测任务外，知识图谱嵌入还可以用于各种下游任务，如三元组分类（林等人，2015年），关系推断（郭，孙和胡，2019年）和搜索个性化（Nguyen等人，2019年）。

现有知识图谱嵌入模型的成功在很大程度上依赖于它们对关系连接模式的建模能力，如对称性/反对称性、反转和组合（Sun等，2019）。例如，TransE（Bordes等，2013）将关系表示为翻译，可以模拟反转和组合模式。现有知识图谱嵌入模型的成功在很大程度上依赖于它们对关系连接模式的建模能力，如对称性/反对称性、反转和组合（Sun等，2019）。例如，TransE（Bordes等，2013）将关系表示为翻译，可以模拟反转和组合模式。

语义层次是知识图谱中普遍存在的属性。例如，WordNet（Miller 1995）包含了一个三元组[arbor/cassia/palm，hypernym，tree]，在这个层次结构中，“tree”比“arbor/cassia/palm”处于更高的层次。Freebase（Bollacker等人2008）包含了一个三元组[England，/location/location/contains，Ponte-frac t/Lancaster]，在这个层次结构中，“Ponte-frac t/Lancaster”比“England”处于更低的层次。尽管已经有一些工作考虑到了层次结构（Xie, Liu, and Sun 2016; Zhang et al. 2018），但它们通常需要额外的数据或过程来获取层次信息。因此，找到一种能够自动且有效地建模语义层次结构的方法仍然具有挑战性。

在这篇论文中，我们提出了一种新颖的知识图谱嵌入模型——即层次感知知识图谱嵌入（HAKE）。为了模拟语义层次结构，HAKE旨在区分两类实体：（a）处于不同层次的实体；（b）处于同一层次的实体。受到具有层次属性的实体可以被视为树这一事实的启发，我们可以使用节点（实体）的深度来模拟层次结构的不同层次。因此，我们使用模数信息来模拟类别（a）中的实体，因为模数的大小可以反映深度。在上述设置下，类别（b）中的实体将具有大致相同的模数，这很难区分。受到同一圆上的点可以具有不同相位的事实的启发，我们使用相位信息来模拟类别（b）中的实体。结合模数和相位信息，HAKE将实体映射到极坐标系统中，其中径向坐标对应模数信息，角度坐标对应相位信息。实验表明，我们提出的HAKE模型不仅能清晰地区分实体的语义层次结构，还能在基准数据集上显著且一致地优于几种最先进的方法。

符号 在这篇论文中，我们使用小写字母h，r和t分别表示头部实体、关系和尾部实体。三元组（h，r，t）表示知识图中的一个事实。相应的粗体小写字母h，r和t表示头部实体、关系和尾部实体的嵌入（向量）。向量h的第i个条目表示为[h]i。让k表示嵌入维度。
让◦表示Rⁿ × Rⁿ到Rⁿ的Hadamard乘积，即 [a ◦ b]_i = [a]_i · [b]_i， 并且∥ · ∥₁, ∥ · ∥₂分别表示ℓ₁和ℓ₂范数。

注：markdown语法中上下标的表示方法：
下标 ：θ₁ ：θ ~ 1 ~
上标 ：θ²：θ ^ 2 ^

2 相关工作

在这一部分，我们将描述相关工作以及它们与我们的工作在两个方面的关键区别——模型类别和知识图谱中层次结构的建模方式。

模型类别

大致来说，我们可以将知识图谱嵌入模型分为三类：翻译距离模型、双线性模型和基于神经网络的模型。表1展示了一些流行的模型。

表1：几种知识图谱嵌入模型的详细信息，其中◦表示Hadamard积，f表示激活函数，∗表示2D卷积，ω表示卷积层中的滤波器。¯·表示ComplEx模型中复数向量的共轭和ConvE模型中实数向量的2D重塑。

翻译距离模型 将关系描述为从源实体到目标实体的转换。TransE（Bordes等人，2013）假设实体和关系满足h + r ≈ t，其中h, r, t ∈ Rⁿ，并定义相应的得分函数为f_r(h, t) = −∥h+r−t∥_1/2。然而，TransE在1-N，N-1和N-N关系上表现不佳（Wang等人，2014）。TransH（王等人，2014年）通过允许实体在不同的关系下具有不同的表示，克服了多对多关系问题。得分函数定义为f_r(h, t) = −∥h_⊥+r−t_⊥∥₂，其中h_⊥和t_⊥是实体在关系特定超平面上的投影。ManifoldE（Xiao, Huang, and Zhu 2016）通过将假设h + r ≈ t放松为∥h + r − t∥₂² ≈ θ_r² 来处理多对多问题，对于每个有效的三元组。这样，候选实体可以位于一个流形上，而不是精确的点。相应得分函数的定义为f_r(h, t) = −(∥h + r − t∥₂