Compositional Vector Space Models for Knowledge Base Completion

最新推荐文章于 2024-07-26 18:28:50 发布

翻译最新推荐文章于 2024-07-26 18:28:50 发布 · 1.2k 阅读

本文提出了一种基于RNN的模型用于知识图谱补全，该模型能够进行多跳推理并支持zero-shot学习，即在训练中未见过的关系预测。模型通过组合关系向量来表示路径，使用统一的composition矩阵并在预测时固定训练关系的向量表示。

Compositional Vector Space Models for Knowledge Base Completion

来源

IJCNLP 2015
计算机科学系
马萨诸塞大学阿默斯特分校
Arvind Neelakantan, Benjamin Roth, Andrew McCallum

motivation

基于符号表示的知识推理方法需要大量的不同的路径作为特征，对于大型知识图谱，随着关系类型的增加，路径的个数快速增加。基于向量表示的一些方法通过计算向量的相似度反映语义的相似度，基于向量表示的关系预测模型是不基于路径的，但是基于向量表示的模型大多只能推理单个关系，不支持对相连关系的推理。本文提出了一个RNN关系推理模型。RNN关系推理模型支持多跳推理，并且支持zero-shot 知识补全。zero-shot 指的是在关系预测时的路径在训练时可能是没有遇到的。

模型

首先通过PRA模型获取需要的关系路径，这里默认已经得到关系路径在这里插入图片描述
$\pi$ 是一条关系路径， $I s B a s e d I n - > S t a t e L o c a t e d I n$
上式显示了用向量表示一条路径的方法， $f$ 是一个非线性的函数， $W_{\delta}$ 是关系 $\delta$ 参数矩阵， $v_r$ 表示一个关系向量

同理可以得到路径 $\Pi$ 的向量表示
因此使用RNN模型得到一条路径的向量表示。
损失函数
在这里插入图片描述、\

得到下面RNN模型的训练算法，其实就是一个很简单的使用min-batch的梯度下降算法

zero-shot KBC

zero-shot 指的是在关系预测时的关系在训练集中没有出现，为了解决zero-shot 的问题，在上述模型的基础上做如下两点变化：

学习一个同意的composition 矩阵
使用与训练的关系向量表示，在训练过程中不进行更新，在预测时的关系类型在训练时是不能看见的，因此这些关系向量表示不需要被更新

实验结果

在这里插入图片描述
zero-shot