convolutional 2D knowledge graph embedding 解读

最新推荐文章于 2025-07-26 08:15:00 发布

damuge2

最新推荐文章于 2025-07-26 08:15:00 发布

阅读量5.5k

点赞数 3

该博客介绍了如何利用2D卷积神经网络(ConvE)解决大型知识图谱的链接预测任务，针对参数数量和计算效率的问题。文章讨论了背景、动机，并详细阐述了模型设计，包括卷积操作、非线性函数的使用以及打分函数。实验结果显示，ConvE模型在减少参数规模的同时，能取得良好的预测效果，尤其是在处理逆关系时的性能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

convolutional 2D knowledge graph embedding 解读

来源

AAAI 2018 伦敦大学

background

知识图谱在很多领域都有广泛的应用，例如搜索、问答、推荐系统等等，但是目前的知识图谱大多存在两个问题：1.知识图谱的不完整性，例如属性缺失或者关系缺失 2. 知识图谱存在错误的关系或者属性值。
在自然语言处理领域，链接预测任务可以用来做知识图谱的补全任务。在现实世界中，知识图谱应当包括广泛的知识，换句话说知识图谱的规模很大，因此链接预测应当适用于大型的知识图谱模型，因此在设计链接预测模型时应当考虑参数数量和计算代价的问题

motivation

在大型知识图谱中，一些浅层的链接预测模型常常用来做链接预测任务，浅层的链接预测模型缺乏提取深层次特征的，链接预测效果也不会很好。为了增加模型提取特征的能力，可以采用增加 embedding size的方法，但对于大型知识图谱是不合适的，参数的数量与实体以及关系的个数成正比。或者可以采用增加神经网络层数的方法，但是这样容易造成过拟合现象。为了解决规模与过拟合的矛盾，本文设计一种参数高效的、计算快速的2D 卷积神经网络用来做知识图谱的表示学习。

模型

其中 $\bar{e_{s}}$ 和 $\bar{r_{r}}$ 分别表示头实体与关系的2D 表示， * 表示卷积操作， $f$ 是一个非线性的函数，是为了加快训练的作用，本文采用了 $r e l u$ 函数，打分函数采用了 $p=\sigma(\psi_r(e_s,e_o))$ 函数，损失函数使用二元的交叉熵
在这里插入图片描述
整体的神经网络模型图如下：

卷积操作占据了计算的大部分时间，为了减少卷积操作的时间，通常会增加batch size, 但是增加batch size 会极大的增加内存的消耗，本文这里采用了一个小技巧，打分时候不再是1-1，而是1-N。
对比ConvE模型与其他模型的空间复杂度

在这里插入图片描述

实验结果

对比参数规模和实验结果，发现ConvE模型可以在使用较少参数的时候达到较好的实验效果

在这里插入图片描述
链接预测任务上各种模型的表现，ConvE模型在各个性能指标上都取得了很好的效果。这里解释一下表格中的最后一行Inverse Model。
有统计数据指出在数据集WN18 和FB15K中，训练集中有94% 和81% 中三元组的逆关系在测试集中出现，可能会导致在数据集上表现的好，却只学习了某关系是其他的逆关系，而不是真正的知识图谱。如果三元组
$s, r_1, o)$ 和 $o,r_2,s)$ 共同出现的频率至少是 $0.99- (f_v + g_t)$ , 则认为互为逆关系，其中 $f_v$ 和 $f_s$ 是验证集个测试集中的频率。在测试时，如果测试集中的三元组和测试集外的三元组匹配，如果可以找到k个，则从匹配中选择topk个，否则随机的选择一个。
在这里插入图片描述
Table 4是将逆关系去掉之后的各个模型在数据集上的表现，其中值得指出的是Inverse Model在FB15K-237上的表现并不好，原因文章解释是FB15K-237中的对称关系，例如similarTo，没有被移除。

代码链接

github 代码