Few-Shot Knowledge Graph Completion

 [1911.11298] Few-Shot Knowledge Graph Completion (arxiv.org)

目录

Background

Model

Encoding Heterogeneous Neighbors

Aggregating Few-Shot Reference Set

Matching Query and Reference Set

Matching Query and Reference Set

---

Background

以往的KGC认为每个关系有足够的实体对可以进行学习，但在实际数据集中，关系的频率分布往往有长尾，在KG中，很大一部分关系只有很少的实体对，因此如何处理实体对有限的关系是有挑战的。

Model

FSRL模型包含三个主要的部分：（1）为每个实体编码异构邻居；（2）为每个关系聚合少量参考实体对；（3）用参考集匹配查询对进行关系预测。

Encoding Heterogeneous Neighbors

设计了一个关系感知的异构邻居编码器。

给定头实体h，定义关系邻居集为

ri和ti表示h的第i个关系和对应的尾实体;异构邻居编码器应该可以对Nh编码，通过考虑关系邻居(ri, ti)Nh的不同影响，从而生成一个头实体h的特征表示。通过关注权αi考虑了异构关系邻居的不同影响，并利用实体ti和关系ri的嵌入来计算αi。eti eri是嵌入向量是(d,1)维的。

Aggregating Few-Shot Reference Set

对参考集中的少数镜头实例的相互作用进行建模。需要设计一个模块来有效地为每个关系r制定参考集Rr的聚合嵌入。

作者通过聚合参考集Rr中所有实体对的表示来产生Rr的的嵌入。

作者的聚合函数AG选取的是递归自编码器聚合器。实体对嵌入通过以下方式依次送入循环自编码器。

损失函数是重构损失函数

为了确定参考集的嵌入，将编码器的所有隐藏状态聚合起来，并通过添加残差连接和注意力权重对其进行扩展，因此参考集的嵌入计算如下：

Matching Query and Reference Set

有了异构邻居编码器fθ以及参考集聚合器,下面展示如何有效的匹配每个query实体对(hl,tl)Qr,和参考集Rr。Qr是关系r的所有查询对的集合。

将fθ和应用于查询实体对(h,tl)和参考集Rr，可以得到两个嵌入向量和。为了测量两个向量之间的相似性，使用循环处理器执行多步匹配，第t步处理步骤定义为：

T步处理后的最后一层的隐藏层状态gT是查询对的嵌入 使用和之间的内积作为后续排序优化过程的相似度得分。

Matching Query and Reference Set

最后损失函数结合实体对查询和参考集嵌入之间的相似性，以及第二步计算参考集嵌入的重构损失；并且使用正负样例之间的对比学习的技巧。