distMult: EMBEDDING ENTITIES AND RELATIONS FOR LEARNING AND INFERENCE IN KNOWLEDGE BASE

   本篇论文是经典的双线性模型，通过乘法的方式进行知识图谱补全。查看原文

1 简介

该方法采用双线性模型，可以进行链接预测，常规的知识图谱补全的方法，还可以通过学习关系嵌入来挖掘逻辑规则，如$BornInCity(a,b)\wedge CityOfCountry(b,c)\Rightarrow Nationality(a,c)$。

2 模型

2.1 Embedding

$X_{e_1},X_{e_2}$分别是三元组$e_1,e_2$的one-hot编码，${\mathbf{y}}_{e_1}=f(\mathbf{W}{X}_{e_1})$, ${\mathbf{y}}_{e_2}=f(\mathbf{W}{X}_{e_2})$,其中$\mathbf{W}\in {\mathbb{R}}^{n_e\times dim}$为参数矩阵，$n_e$为实体的个数，$dim$为数据每个数据的维度，$\mathbf{W}$可以采用随机初始化, $f$是一个非线性函数，类似于ReLU这种函数。

2.2 统一框架

一个基本的线性变换$g_r^a$, 双线性变换$g_r^a$：

2.3 模型选择

这篇文章仅仅选择基础的双线性模型作为评分函数，$g_r^b({\mathbf{y}}_{e_1},{\mathbf{y}}_{e_2})={\mathbf{y}}_{e_1}^T{\mathbf{M}}_r{\mathbf{y}}_{e_2}$，其中${\mathbf{M}}_r\in {\mathbb{R}}^{n\times n}$，但由于${\mathbf{M}}_r$参数过大需要对参数进行精简，因此，对${\mathbf{M}}_r$参数进行限制，限制其为对角矩阵，则其参数接近于TransE模型。

2.4 损失函数

对于损失函数，依旧选择margin-based ranking loss作为损失函数。对于正例三元组集合$T$, 负例集合$T^{\prime }$,$E$为实体集合，对正例进行负采样，随机破坏三元组中$(e_1,r,e_2)$中实体$e_1$或者$e_2$中任意一个进行破坏，其中 T ′ = { ( e 1 ′ , r , e 2 ) ∣ e 1 ′ ∈ E , ( e 1 ′ , r , e 2 ) ∉ T } ∪ { ( e 1 , r , e 2 ′ ) ∣ e 2 ′ ∈ E , ( e 1 , r , e 2 ′ ) ∉ T } \mathit T\prime=\{(e_{1}\prime, r,e_{2})|e_{1}\prime\in\mathit E,(e_{1}\prime, r,e_{2})\notin\mathit T\}\cup\{(e_{1}, r,e_{2}\prime)|e_{2}\prime\in\mathit E,(e_{1}, r,e_{2}\prime)\notin\mathit T\} T′={(e1​′,r,e2​)∣e1​′∈E,(e1​′,r,e2​)∈/​T}∪{(e1​,r,e2​′)∣e2​′∈E,(e1​,r,e2​′)∈/​T}。损失函数如下：

其中$S_{(e_1,r,e_2)}$作为评分函数。

3 总结

3.1 推理任务一：链接预测

破坏掉三元组，对于测试数据中的每个三元组，我们将每个实体视为要依次预测的目标实体。将为字典中正确的实体和所有损坏的实体计算分数，并按降序排列。采用hit@n,mrr,mr等信息作为评估方式。
其在实现时，提出一些改善

• 相比于TransE这种模型，引用了非线性函数$tanh$函数
• 使用了预训练的方法进行embedding，通过word2vec方式

3.2 推理任务二：规则抽取

规则抽取，如$BornInCity(a,b)\wedge CityOfCountry(b,c)\Rightarrow Nationality(a,c)$，这种逻辑规则有四个重要目的，其目的如下：

• 首先，他们可以帮助推断新的事实，完善现有的$KBs$。
• 其次，它们可以通过只存储规则而不是大量的扩展数据来帮助优化数据存储，并且只在推理时生成事实。
• 第三，它们可以支持复杂的推理。
• 最后，它们可以为推理结果提供解释，例如，我们可以推断人们的职业通常涉及他们研究的领域的专业化，等等。

传统的规则推理方法在我们知识图谱大量数据这方面，不能够很好的处理。

其中$B_i、H$代表相应的关系， $a_i$代表相应的实体。我们约束身体关系$B1，\dots ，Bn$在图中形成一条有向路径，并将H与一条闭合该路径的有向边联系起来。对于$B_{i-1}(a,b)\wedge B_i(a,c)$形式，采用$B_{i-1}^{-1}(b,a)\wedge B_i(a,c)$