论文简读-TransE-《Translating Embeddings for Modeling Multi-relational Data》

论文简读-TransE: Translating Embeddings for Modeling Multi-relational Data

1. 简介概括

本文研究的是将知识图谱中实体和关系嵌入(embedding)至低维向量空间的问题，本质上是知识图谱表示学习问题。根据翻译模型，提出了名为TransE的实体与关系表示方法，将实体与实体的关系看成是翻译操作。

2. 算法

2.1. 损失函数

给出一个知识图谱中的三元组$(h,r,t)\in S$,其中$h、t\in E,r\in R$。$E、R$分别表示知识图谱中的实体集合与关系集合, $S$表示知识图谱中三元组集合。在TransE模型中，$h、r、t$均采用长度为$k$的1维向量进行表示，并且假设对于任意三元组$(h,r,t)$，满足$h+r\approx t$，根据该假设定义基于边界(margin)的目标函数：

$$L=\sum _{(h,r,t)\in S}\sum _{(h^{\prime },r,t^{\prime })\in S_{(h,r,t)}^{\prime }}[\gamma +d(h+r,t)-d(h^{\prime }+r,t^{\prime }){]}_{+}\text{\hspace{1em}(1)}$$

其中$d(x,y)$表示向量$x$与$y$的距离，可以是曼哈顿距离(L1范式)，也可以是欧氏距离(L2范式)；$\gamma$表示边界(margin)超参数；$[x{]}_{+}$表示当$x<0$时取0值。

S(h,r,t)′={(h′,r,t)∣h′∈E}∪{(h,r,t′)∣t′∈E}(2)S'_{(h,r,t)}=\{(h',r,t)|h' \in E\} \cup \{(h,r,t')|t' \in E\} \tag{2}S(h,r,t)′​={(h′,r,t)∣h′∈E}∪{(h,r,t′)∣t′∈E}(2)

$S_{(h,r,t)}^{\prime }$表示替换了三元组头实体或者尾实体的三元组（corrupted triplets）所组成的集合。替换后的三元组有可能仍然属于该知识图谱，作者对替换后的三元组进行检测（所谓的filter），留下真正的corrupted triplets（也就是非知识图谱知识的三元组）

2.2. TransE的训练算法伪代码：

3. 实验

3.1. 数据集

数据集名称	简称	statistics
Wordnet	WN	\
Freebase15k	FB15k	592213个三元组，14951个实体以及1345种关系
Freebase1M	FB1M	1700万个三元组，100万个实体以及2.5万种关系

3.2. 链接预测

其中$M_{EAN}{R}_{ANK}$表示正确的关系链接在平均rank，该指标越小越好；$H_{ITS}@n(\%)$表示正确的关系链接出现在预测排名前n个结果中的概率，该指标越大越好。

4. conclusion

本文提出了一种学习知识图谱嵌入的新方法，实验在两个不同的数据集上表现出色，但目前不明确TransE是否能够充分地表示1-n, n-1,n-n等关系。