基于翻译模型（Trans系列）的知识表示学习

翻译模型（Trans）

解决问题：知识表示与推理

将实体向量表示（Embedding）在低维稠密向量空间中，然后进行计算和推理。

主要应用：triplet classification, link prediction

---

目前基于翻译模型（Trans系列）的知识表示学习的研究情况

• TransE, NIPS2013, Translating embeddings for modeling multi-relational data
• TransH, AAAI2014, Knowledge graph embedding by translating on hyperplanes
• TransR, AAAI2015, Learning Entity and Relation Embeddings for Knowledge Graph Completion
• TransD, ACL2015, Knowledge graph embedding via dynamic mapping matrix
• TransA, arXiv2015, An adaptive approach for knowledge graph embedding
• TranSparse, AAAI2016, Knowledge graph completion with adaptive sparse transfer matrix
• TransG, arXiv2015, A Generative Mixture Model for Knowledge Graph Embedding
• KG2E, CIKM2015, Learning to represent knowledge graphs with gaussian embedding

---

TransE: 多元关系数据嵌入（Translation embeddings for modeling multi-relation data）

问题：如何建立简单且易拓展的模型把知识库中的实体和关系映射到低维向量空间中，从而计算出隐含的关系？
方案：将实体与关系嵌入到同一低维向量空间。

这篇文章提出了一种将实体与关系嵌入到低维向量空间中的简单模型，弥补了传统方法训练复杂、不易拓展的缺点，对实体和关系的建模十分简单明了，可解释性也很强。尽管现在还不清楚是否所有的关系种类都可以被这种方法建模，但目前这种方法相对于其他方法表现不错。在后续的研究中，TransE更是作为知识库vector化的基础，衍生出来了很多变体。

受word2vec启发，利用了词向量的平移不变现象。将每个三元组实例 (head，relation，tail) 中的关系 relation 看做从实体 head 到实体 tail 的翻译，通过不断调整h、r和t (head、relation 和 tail 的向量)，使 (h + r) 尽可能与 t 相等，即 h + r ≈ t。数学上表示就是通过约束$d(h+l,t)=||(h+r)-t||_2^2\approx0$来对实体和关系建模，将它们映射到相同的向量空间中。
其损失函数表示如下：

$$\mathfrak{L} = \sum_{(h,l,t)\in S} \sum_{(h^\prime, l^\prime, t^\prime)\in S_{(h,l,t)}^\prime}[\gamma + d(h+l,t) - d(h^\prime+l^\prime,t^\prime)]_+$$

其中，$[x]_+$表示$x$的正数部分，$\gamma$表示margin，$S_{h,l,t}^\prime=\lbrace (h^\prime,l,t|h^\prime\in E)\rbrace \cup \lbrace(h,l,t^\prime|t^\prime\in E)\rbrace$

---

TransH: 将知识嵌入到超平面（Knowledge graph embedding by translating on hyperplanes）

问题：对知识库中的实体关系建模,特别是一对多,多对一,多对多的关系。设计更好的建立负类的办法用于训练。
方案：将实体和关系嵌入到同一的向量空间，但实体在不同关系中有不同的表示。

在数学表示上面就可以很简单的看出TransH与TransE的区别：TransE中三元组$(h,r,t)$需要满足d(h+r,t)=||(h+r)−t||22≈0