【论文翻译】Meta Relational Learning for Few-Shot Link Prediction in Knowledge Graphs

最新推荐文章于 2024-03-12 21:03:59 发布

原创

最新推荐文章于 2024-03-12 21:03:59 发布 · 2.2k 阅读

10 ·

CC 4.0 BY-SA版权

文章标签：

#知识图谱

本文提出一种元关系学习框架MetaR，旨在解决小样本知识图谱链接预测问题。MetaR通过转移特定关系元信息从支持集到查询集，利用关系元和梯度元加速学习过程。实验结果显示，MetaR在小样本链接预测任务上超越现有模型。

【论文翻译】Meta Relational Learning for Few-Shot Link Prediction in Knowledge Graphs

（基于元关系学习的小样本知识图谱链接预测） 2019年 EMNLP

摘要

关系预测是一种重要的知识图谱补全，基于嵌入的方法对于知识图谱关系预测很有用，但对于只有少量的有效三元组来说效果甚微。本文采取了一种元学习框架（Mate-R）来实现常见缺富有挑战性的小样本知识图谱关系预测。也就是说，通过观察少数几个有效三元组来预测一个新三元组的关系。我们通过传递特定关系元信息在小样本知识图谱关系链接上，来使模型学习最重要的知识并且学习的更快，特定关系元信息分别对应于Meta-R模型中的关系元和梯度元。从经验上来说，我们的模型实现了最好的结果在小样本知识图谱链接预测基点上。

1.介绍

一个知识图谱是由大量的三元组（头实体、关系、尾实体）组成用来编码世界上的知识和事实。许多知识图谱被用于各种各样的程序。

尽管拥有大量的实体、关系和三元组，但大量的知识图谱仍然不完全，因此知识图谱补全对于知识图谱的发展来说至关重要。知识图谱补全任务之一就是链接预测，基于存在的三元组预测新的三元组。对于链接预测来说，知识图谱嵌入是有效的方法。他们学习连续向量空间中实体和关系的潜在表示（称为嵌入），并通过计算和嵌入来完成链接预测。

知识图谱嵌入的有效性是在足够的训练样本之下的，因此在小样本实例中，结果会表现的很糟糕。然而小样本问题广泛存在于知识图谱中。例如在WiKi数据中大约有10%的关系少于10个三元组。只有少部分实例的关系被称之为小样本关系。在这篇论文中，我们致力于解决知识图谱当中小样本链接预测问题，在给予K个关于关系r的三元组后，通过头实体h和关系r预测尾实体t，通常来说k很小。图片1描述了一个三个样本的知识图谱链接预测。
在这里插入图片描述

**【图片（1）】**一个三个样本的小样本知识图谱链接预测例子。一个任务代表仅观察一个特定关系的三个实例，并对该关系进行链接预测。我们的模型专注于通过一种关系学习器来提取特定关系的元信息，并用来跨任务共享，并传输此元信息以在一个任务内进行链接预测）

为了做小样本链接预测，第一个实验和提议的是GMatching，该模型通过考虑嵌入向量和单图结构（one-hot编码）来学习匹配度量标准，当我们试图通过另一个基于直觉的观点完成小样本链接预测，该观点为：在一个任务（task）中，从一些已经存在的实例中获得的最重要的信息到不完全的三元组中应该是共通和共享的知识。我们称之为特定关系元信息（relation-specific meta information ），并通过该信息开发了元关系学习（MetaR）模型用来实现小样本链接预测。例如，在图片1 CEOof 和 CountryCapital 中的特定关系元信息将会被提取出来并通过MetaR转移，从一些存在的实例转移到不完全的三元组中。

特定关系元信息在下面的两个观点中是很有帮助的：

从被观测的三元组中公共关系信息到不完全的三元组中
仅通过观测少量实例来加速一个任务（task）中的学习过程

因此，我们准备了两种特定关系元信息：关系元和梯度元，分别对应上诉两个观点。在我们的框架MetaR中，关系元是连接头和尾实体的关系的高阶表示。在链接预测期间，在将关系元转移到不完整的三元组之前，梯度元是关系元的损失梯度，将用于进行快速更新。

与依赖背景知识图谱的GMatching相比较，我们的MetaR模型是独立于他们的，因此会更强健广泛，因为背景知识图谱在实际情况下的小样本链接预测并不容易获得。

我们采用不同的数据库来评估MetaR模型。MetaR实现了SOTA的结果，表明转移特定关系元信息在小样本链接预测任务中的成功。总的来说，我们工作的主要三个贡献如下：

首先我们提出了一种新颖的元关系学习框架（MetaR）来解决知识图谱中小样本链接预测问题
其次我们着重指出了特定关系元信息在小样本链接预测中的重要作用，并且提出了两种特定关系元信息：关系元和梯度元。实验表明这两个的贡献都相当显著。
然后我们的MetaR模型在小样本链接预测任务中实现了SOTA，并且我们同时分析了影响MetaR模型表现的因素。

2.相关工作

MetaR模型的任务之一是学习适合小样本链接预测任务的实体表征，并且该学习框架是受知识图谱嵌入方法的启发。此外，使用损失梯度作为一种元信息是受到MetaNet和MAML框架的启发，这两个框架是通过元学习探索小样本学习的模型。通过这两种观点，我们将知识图谱嵌入和元学习作为两个相关工作。

2.1知识图谱嵌入

知识图谱嵌入模型将实体和关系映射到连续向量空间当中去。该模型使用得分函数来确保每一个三元组的正确嵌入。和知识图谱嵌入一样，我们的MetaR模型同样需要一个得分函数，并且和嵌入模型有着主要的区别，关系r的表现形式在MetaR模型中是关系元，在嵌入模型中是嵌入编码。

一种形式是通过TransE和距离分数函数（distance score function）。TransH和TransR是两种典型使用不同模型连接头、尾和关系的模型。DistMult和ComplEx是由RESCAL模型演变而来的模型，试图使用不同方法挖掘潜在语义。还有一些其他使用卷积结构来计算三元组的模型或者使用额外信息例如实体类型和关系路径的模型，例如ConvE。以上全面总结了当前流行的知识图谱嵌入方法。

传统嵌入模型严重依赖大量的训练实例；因此被限制用来进行小样本的链接预测。而MetaR模型被设计用来填满已经存在的嵌入模型的缺点。

2.2元学习

元学习在相同的概念下仅通过少量实例快速寻找学习能力，并且不断的适应更多的概念，而这正是人类擅长的快速而持续的学习。

最近提出了几种元学习模型。通常来说，有三种元学习模型：

基于度量的元学习（Metric-based meta-learning）,该模型学习匹配查询集和支持集的度量标准在所有任务任务上，同时这个匹配和最近邻居算法比较相似。Siamese Neural Network是一个典型的使用对称双胞胎网络计算两个输入的度量。GMatching是第一个进行知识图谱小样本链接预测的模型，该模型基于实体嵌入和局部图结构学习匹配度量，可以被视为基于度量的元学习模型。
基于模型的模型（Model-based method），该模型使用特殊的精心设计的部分（如记忆）来实现少样本实例的快速学习。MetaNet是一种记忆增强神经网络（memory augmented neural network (MANN) ），该模型获得元信息通过损失梯度和通过快速的参数化快速概括。
基于优化的方法（Optimization-based approach），该模型通过更改优化算法获得更快学习的主意。Model-Agnostic Meta-Learning 缩写为MAML是一个与模型无关的算法。该模型首先更新特定任务学习器的参数，然后通过使用上述更新的参数，可以对参数执行跨任务的元优化，就像“通过梯度的梯度”。

据我所知，One-shot relational learning for knowledge graphs 是第一个提出小样本学习知识图谱的论文。该模型是基于度量的模型，考虑使用了邻居编码器（neighbor encoder）和匹配处理器（matching processor）。邻居编码器通