Learning Entity and Relation Embeddings for Knowledge Graph Completion翻译笔记（学习实体和关系嵌入以完成知识图谱）

---

论文标题：学习实体和关系嵌入以完成知识图谱

论文链接：https://nlp.csai.tsinghua.edu.cn/~lzy/publications/aaai2015_transr.pdf

摘要

知识图谱补全旨在进行实体间的链接预测。在本文中，我们考虑了知识图嵌入的方法。最近，TransE 和 TransH 等模型通过将关系视为从头部实体到尾部实体的转换，建立了实体和关系嵌入。我们注意到，这些模型只是将实体和关系放在同一个语义空间中。事实上，一个实体可能有多个方面，而各种关系可能侧重于实体的不同方面，这就使得一个共同的空间不足以进行建模。在本文中，我们提出了 TransR，在独立的实体空间和关系空间中建立实体和关系嵌入。之后，我们通过先将实体从实体空间投射到相应的关系空间，然后在投射实体之间建立翻译来学习嵌入。在实验中，我们在三个任务上评估了我们的模型，包括链接预测、三重分类和关系事实提取。实验结果表明，与包括 TransE 和 TransH 在内的最先进基线相比，我们的模型有了显著而一致的改进。本文的源代码可从 https://github.com/mrlyk423/relation_extraction 获取。

介绍

知识图谱编码实体及其丰富关系的结构化信息。尽管一个典型的知识图谱可能包含数百万个实体和数十亿个关系事实，但它通常远非完整。知识图谱补全的目的是在现有知识图谱的监督下预测实体之间的关系。知识图谱补全可以发现新的关系事实，是对从纯文本中提取关系的重要补充。

知识图谱补全类似于社会网络分析中的链接预测，但更具挑战性，原因如下：（1）知识图谱中的节点是具有不同类型和属性的实体；（2）知识图谱中的边是不同类型的关系。在完成知识图谱时，我们不仅要确定两个实体之间是否存在关系，还要预测关系的具体类型。

因此，传统的链接预测方法无法完成知识图谱的补全。最近，一种很有前途的方法是将知识图谱嵌入连续向量空间，同时保留图谱的某些信息。按照这种方法，人们探索了许多方法，将在 "相关工作 "部分详细介绍。

在这些方法中，TransE（Bordes 等人，2013 年）和 TransH（Wang 等人，2014 年）简单有效，达到了最先进的预测性能。TransE 受（Mikolov 等人，2013b）的启发，学习实体和关系的向量嵌入。这些向量嵌入都设置在 Rk 中，我们用粗体相同的字母表示。TransE 背后的基本思想是，两个实体之间的关系对应于实体嵌入之间的转换，即当（h, r, t）成立时，h + r≈ t。由于 TransE 在建模 1 对 N、N 对 1 和 N 对 N 关系时存在问题，因此提出了 TransH，使实体在涉及各种关系时有不同的表示。

TransE 和 TransH 都假设实体和关系的嵌入在同一个空间 $\mathbb{R}$^k 中。然而，一个实体可能有多个方面，而各种关系又侧重于实体的不同方面。因此，直观地看，有些实体是相似的，因此在实体空间中彼此接近，但在某些特定方面却相对不同，因此在相应的关系空间中彼此远离。为了解决这个问题，我们提出了一种新方法，即在不同的空间，即实体空间和多个关系空间（即特定关系实体空间）中建立实体和关系模型，并在相应的关系空间中执行翻译，因此命名为 TransR。

TransR 的基本思想如图 1 所示。对于每个三元组（h, r, t），实体空间中的实体首先通过操作 M_r投射到 r 关系空间中，成为 h_r 和 t_r，然后 h_r + r≈ t_r。针对特定关系的投影可以使实际存在关系的头尾实体（用彩色圆圈表示）相互靠近，也可以使不存在关系的实体（用彩色三角形表示）相互远离。

图 1：TransR 的简单示意图。

此外，在特定关系下，头尾实体对通常会表现出不同的模式。仅建立一个关系向量来执行从头部实体到尾部实体的所有转换是不够的。例如，关系 "location location contains "的头尾实体有许多模式，如国家-城市、国家-大学、大陆-国家等。根据分片线性回归的思想（Ritzema 等人，1994 年），我们对 TransR 进行了扩展，将不同的头尾实体对聚类成组，并为每组学习不同的关系向量，命名为基于聚类的 TransR（CTransR）。

我们在 WordNet 和 Freebase 的基准数据集上评估了我们的模型，包括链接预测、三重分类和关系事实提取等任务。实验结果表明，与最先进的模型相比，我们的模型具有显著而稳定的改进。

相关工作

TransE 和 TransH

如 "引言 "部分所述，TransE（Bordes 等人，2013 年）希望在（h, r, t）成立时 h+r ≈ t。这表明（t）应该是（h + r）的最近邻。因此，TransE 假设得分函数

如果 (h, r, t) 成立，则为低值，否则为高值。

TransE 很好地适用于 1 对 1 关系，但对于 N 对 1、1 对 N 和 N 对 N 关系却有问题。以 1 对 N 关系 r 为例。∀i ∈ {0, . . . ,m}这表明 h₀ = … = h_m，这与事实不符。

为了解决 TransE 在建模 N-to-1、1-to-N 和 N-to-N 关系时的问题，有人提出了 TransH（Wang 等人，2014 年），使实体在涉及不同关系时有不同的分布式表示。对于一个关系 r，TransH 将该关系建模为超平面上的一个向量 r，以 w_r 作为法向量。对于一个三元组（h, r, t），实体嵌入 h 和 t 首先被投影到 w_r 的超平面上，表示为 h_⊥ 和 t_⊥。然后，得分函数定义为