TransR 论文阅读 19年记录的

论文题目

Learning Entity and Relation Embeddings for Knowledge Graph Completion——AAAI2015

论文链接

https://www.aaai.org/ocs/index.php/AAAI/AAAI15/paper/view/9571/9523https://www.aaai.org/ocs/index.php/AAAI/AAAI15/paper/view/9571/9523

文章背景：    

    近年来，一些模型像TransE和TransH通过把关系作为从head实体到tail实体的翻译来建立实体和关系嵌入。这些模型仅仅简单地假设实体和关系处于相同的语义空间。事实上，一个实体是多种属性的综合体，不同关系关注实体的不同属性，仅仅在同一个空间下对它们进行建模是不够的。

解决问题：      

  TransE和TransH都假设实体和关系嵌入在相同的空间Rk中。然而，一个实体是多种属性的综合体，不同关系关注实体的不同属性。直觉上一些相似的实体在实体空间中应该彼此靠近，但是同样地，在一些特定的不同的实体在对应的关系空间中应该彼此远离。

创新点：      

为了解决这个问题，提出了一种新的方法，将实体和关系投影到不同的空间中，也就是实体空间和多元关系空间（也即是特定关系的实体空间），在对应的关系空间上实现翻译。    

解决方案：      

提出了TransR，分别在实体空间和关系空间构建实体和关系嵌入。然后，学习嵌入，首先将实体投影到对应的关系空间中，然后在建立从头实体到尾实体的翻译关系，在对应的关系空间上实现翻译。

以及通过将不同的头尾实体对聚类成组来扩展TransR，并为每个组学习不同的关系向量，称为基于聚类的TransR（C-TransR）。

 1. transR：      

 基本思想如图所示。对于每个元组（h，r，t），首先将实体空间中的实体通过映射矩阵Mr（每个关系都会构建一个Mr）向关系r投影得到hr和tr，然后使hr+r≈tr。特定的关系投影（彩色的圆圈表示）能够使得头/尾实体在这个关系下真实的靠近彼此，使得不具有此关系（彩色的三角形表示）的实体彼此远离。

 

对每个元组(h,t,r),实体嵌入设置为 关系嵌入设置为 对每个关系，构建映射矩阵Mr:

利用映射矩阵，将实体的投影向量定义为

分数函数： 

2. CTransR：

此外，在一个特定的关系下，头-尾实体对通常展示出不同的模型。仅仅通过单个的关系向量还不足以建立实现从头实体到尾实体的所有翻译。例如，具有关系“location location contains”头-尾实体有很多模式，如country-city，country-university，continent-country等等。沿着分段线性回归的思想，通过对不同的头-尾实体对聚类分组和学习每组的关系向量，进一步提出了基于聚类的TransR（CTransR）。

做法：

（1）对于一个特定的关系r，训练数据中的所有实体对(h，t)被聚为多个组，并且每个组中的实体对被期望呈现相似的r关系。

（2）所有实体对(h，t)用它们的向量偏移量(h-t)表示，以便进行聚类，其中h和t用TransE表示。

（3）分别为每个簇和每个关系分别学习了一个独立的关系向量rc和矩阵Mr。

（4）                                                         

   确保聚类特定关系向量rc离原始关系向量r不太远。 

训练目标

 总结与思考：

本文提出了一种新的知识图嵌入模型TransR。TransR将实体和关系嵌入在不同的实体空间和关系空间中，并通过投影实体之间的翻译来学习嵌入。此外，还提出了基于分段线性回归思想的CTransR，其目的是对每种关系类型内的内部复杂相关性进行建模。