distMult: EMBEDDING ENTITIES AND RELATIONS FOR LEARNING AND INFERENCE IN KNOWLEDGE BASE

最新推荐文章于 2024-05-21 17:52:40 发布

Re:fused

最新推荐文章于 2024-05-21 17:52:40 发布

阅读量1.1k

点赞数

CC 4.0 BY-SA版权

分类专栏：知识图谱补全文章标签：深度学习计算机视觉人工智能

本文链接：https://blog.youkuaiyun.com/REfusing/article/details/123466151

知识图谱补全专栏收录该内容

14 篇文章

订阅专栏

本文介绍了利用双线性模型进行链接预测与规则抽取的深度解析，包括模型构建（通过embedding和对角矩阵限制）、损失函数的选择（基于margin-ranking loss），并展示了链接预测的改进技术和规则抽取在知识图谱完整性的提升作用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本篇论文是经典的双线性模型，通过乘法的方式进行知识图谱补全。查看原文

1 简介

该方法采用双线性模型，可以进行链接预测，常规的知识图谱补全的方法，还可以通过学习关系嵌入来挖掘逻辑规则，如 $b)\wedge CityOfCountry(b, c)\Rightarrow Nationality(a, c)$ 。

2 模型

2.1 Embedding

$X_{e_{1}},X_{e_{2}}$ 分别是三元组 $e_{1}, e_{2}$ 的one-hot编码， $\mathbf{y}_{e_{1}} = f(\mathbf{W}X_{e_{1}})$ , $\mathbf{y}_{e_{2}} = f(\mathbf{W}X_{e_{2}})$ ,其中 $\mathbf{W\in}\mathbb{R}^{n_{e}\times dim}$ 为参数矩阵， $n_{e}$ 为实体的个数， $d i m$ 为数据每个数据的维度， $\mathbf{W}$ 可以采用随机初始化, $f$ 是一个非线性函数，类似于ReLU这种函数。

2.2 统一框架

一个基本的线性变换 $g_{r}^a$ , 双线性变换 $g_{r}^a$ ：
在这里插入图片描述

2.3 模型选择

这篇文章仅仅选择基础的双线性模型作为评分函数， $g_{r}^b (\mathbf y_{e_{1}}, \mathbf y_{e_{2}})=\mathbf y_{e_{1}}^T\mathbf M_{r}\mathbf y_{e_{2}}$ ，其中 $\mathbf M_{r}\in\mathbb R^{n\times n}$ ，但由于 $\mathbf M_{r}$ 参数过大需要对参数进行精简，因此，对 $\mathbf M_{r}$ 参数进行限制，限制其为对角矩阵，则其参数接近于TransE模型。

2.4 损失函数

对于损失函数，依旧选择margin-based ranking loss作为损失函数。对于正例三元组集合 $\mathit T$ , 负例集合 $\mathit T^\prime$ , $\mathit E$ 为实体集合，对正例进行负采样，随机破坏三元组中 $e_{1}, r, e_{2})$ 中实体 $e_{1}$ 或者 $e_{2}$ 中任意一个进行破坏，其中 $\mathit T\prime=\{(e_{1}\prime, r,e_{2})|e_{1}\prime\in\mathit E,(e_{1}\prime, r,e_{2})\notin\mathit T\}\cup\{(e_{1}, r,e_{2}\prime)|e_{2}\prime\in\mathit E,(e_{1}, r,e_{2}\prime)\notin\mathit T\}$ 。损失函数如下：
在这里插入图片描述
其中 $S_{(e_{1}, r,e_{2})}$ 作为评分函数。

3 总结

3.1 推理任务一：链接预测

破坏掉三元组，对于测试数据中的每个三元组，我们将每个实体视为要依次预测的目标实体。将为字典中正确的实体和所有损坏的实体计算分数，并按降序排列。采用hit@n,mrr,mr等信息作为评估方式。
其在实现时，提出一些改善

相比于TransE这种模型，引用了非线性函数 $t a n h$ 函数
使用了预训练的方法进行embedding，通过word2vec方式

3.2 推理任务二：规则抽取

规则抽取，如 $b)\wedge CityOfCountry(b, c)\Rightarrow Nationality(a, c)$ ，这种逻辑规则有四个重要目的，其目的如下：

首先，他们可以帮助推断新的事实，完善现有的 $K B s$ 。
其次，它们可以通过只存储规则而不是大量的扩展数据来帮助优化数据存储，并且只在推理时生成事实。
第三，它们可以支持复杂的推理。
最后，它们可以为推理结果提供解释，例如，我们可以推断人们的职业通常涉及他们研究的领域的专业化，等等。

传统的规则推理方法在我们知识图谱大量数据这方面，不能够很好的处理。
在这里插入图片描述
其中 $\mathit B_{i}、\mathit H$ 代表相应的关系， $a_{i}$ 代表相应的实体。我们约束身体关系 $B 1 ， \dots ， B n$ 在图中形成一条有向路径，并将H与一条闭合该路径的有向边联系起来。对于 $\mathit B_{i-1}(a, b)\land \mathit B_{i}(a, c)$ 形式，采用 $\mathit B_{i-1}^{-1}(b, a)\land \mathit B_{i}(a, c)$