双曲图嵌入Low-Dimensional Hyperbolic Knowledge Graph Embeddings

知识图谱嵌入为实体和关系学习低维的向量表示，KG往往表现出分层和逻辑模式，希望这些都能在嵌入空间中表现出来。对于分层结构，双曲空间有很大的优点，它能保持高保真和很小的嵌入维度。但是，现有的双曲嵌入方法均未考虑KG中丰富的逻辑模式。这里介绍一类双曲KG嵌入，它能同时捕获分层和逻辑模式。结合带注意力的反射和旋转来建模复杂的关系模式。

Introduction

KGs是表示知识的很有效的数据结构，已应用到很多下流的应用中，如词义消歧、问答系统和信息检索。现实中的知识图谱，如Yago,WordNet, 往往是不完整的，一个补全知识的很普遍的方法是将KG嵌入到向量空间中.嵌入方法为实体和关系学习各自的表示，这些表示能保持知识图谱中原有的结构和语义。

KG中的关系有不同的特性，比如有的关系具有对称性，而有些关系没有对称性。这些特性的不同给嵌入方法带来了很大的挑战：保持每种关系模式需要在嵌入空间中产生不同的几何模式。一种很直接的解决此问题的方法是采用维度很高的嵌入。但是在大型知识图谱中，这样做会带来很高的内存消耗。

对于分层数据，双曲几何提供了一种很好的方法，它的嵌入维度很低且能保持分层。双曲空间能以任意小的失真将树结构嵌入到二维空间中。最近的研究提出将分层的图结构嵌入到双曲空间中而不是传统的欧式空间，但是这些方法关注于嵌入简单的图结构，不能表达KG中多样的复杂的关系。

本文提出新的双曲嵌入方法，它以很小的维度对KG进行表示，并且利用丰富的变换来编码KG中的逻辑模式。主要方法：1）用关系特定的曲率训练双曲嵌入以保持KG中的多种分层；2）参数化双曲等距并利用其几何性质来捕获关系的逻辑模式；3）利用双曲注意力来结合不同的几何算子和不同的逻辑模式。

在链接预测任务上，用标准的数据集进行测试，发现1）在维度很低时，MRR超过 欧式嵌入6.1%，特别对于分层关系，效果更好；2）双曲等距的几何性质可以直接映射为不同关系的逻辑特征，发现反射能捕获对称关系，旋转能捕获反对称关系；3）基于注意力的变换可以概括多种逻辑模式。 在维度很高时，发现双曲嵌入和欧式嵌入有相似的表现，本文的方法获得了新的SOTA结果。

现有的KG嵌入的方法依赖于嵌入空间的几何特性。提高嵌入性能主要从两个方面入