Improving Multi-hop Question Answering over Knowledge Graphs using Knowledge Base Embeddings笔记，知识库嵌入

最新推荐文章于 2024-04-24 16:09:39 发布

QYLZ

最新推荐文章于 2024-04-24 16:09:39 发布

阅读量877

点赞数 16

分类专栏：论文笔记文章标签：知识图谱人工智能自然语言处理 python nlp 深度学习机器学习

本文链接：https://blog.youkuaiyun.com/weixin_56242678/article/details/137427392

版权

在这里插入图片描述

论文标题：使用知识库嵌入改进知识图的多跳问答

论文链接：https://aclanthology.org/2020.acl-main.412/

摘要

知识图谱（KG）是由实体作为节点、实体之间的关系作为类型边缘组成的多关系图。在知识图谱上进行问答任务（KGQA）的目标是回答以自然语言提出的查询。多跳 KGQA 需要对知识图谱中的多个边缘进行推理，以便找到正确的答案。知识图谱（KG）通常不完整，有许多缺失的链接，这为KG问答（KGQA）带来了额外的挑战，特别是对于多跳KGQA。最近关于多跳KGQA的研究已经尝试使用相关的外部文本来处理KG的稀疏性，但这并不总是那么容易获得。在另一条研究路线上，已经提出了KG嵌入方法来通过执行缺失链接预测来减少KG的稀疏性。这类KG嵌入方法虽然高度相关，但尚未被用于多跳KGQA。本文填补了这一空白，并提出了EmbedKGQA。EmbedKGQA在稀疏KG上进行多跳KGQA特别有效。EmbedKGQA还放宽了从预指定邻域中选择答案的要求，这是先前多跳KGQA方法强制执行的一个次优约束。通过在多个基准数据集上进行大量实验，我们证明了EmbedKGQA相对于其他最先进的基线方法的有效性。

1 介绍

知识图谱（KG）是包含数百万实体（例如，圣何塞、加利福尼亚等）和它们之间关系（例如，圣何塞位于加利福尼亚州内）的多关系图。示例包括一些大型知识图谱（KG），如维基数据（Google，2013年）、DBPedia（Lehmann等人，2015年）、Yago（Suchanek等人，2007年）和NELL（Mitchell等人，2018年）。基于知识图谱（KG）的问题回答（KGQA）在近年来已成为一个重要的研究领域（Zhang等人，2018年；Sun等人，2019a年）。在KGQA系统中，给定一个自然语言（NL）问题和一个KG，通过分析问题与KG的上下文关系，得出正确的答案。

在多跳KGQA中，系统需要对知识图谱的多个边进行推理以推断正确的答案。知识图谱通常不完整，这为KGQA系统带来了额外的挑战，尤其是在多跳KGQA的情况下。最近的方法已经使用外部文本语料库来处理知识图谱的稀疏性（Sun等，2019a，2018）。例如，（Sun等人，2019a）提出的方法从知识图谱中构建一个与问题相关的子图，然后用支持性文本文档来增强这个子图。接着，图卷积神经网络（Graph CNN，Kipf和Welling，2016）被应用于这个增强的子图，以得到最终的答案。很不幸地，获取和确定相关文本语料库是一项挑战，这限制了这些方法的广泛应用。此外，这些方法还对答案所在的预设邻近范围有限制，使得真实答案往往无法被模型选择。

为了说明这些观点，请考虑图1中给出的例子。在这个例子中，Louis Mellis是输入自然语言问题的主实体，而Crime是我们期望模型选择的正确答案。如果在知识图谱中存在genre(Gangster No. 1, Crime)这个边，那么问题就可以比较容易地回答了。然而，由于这个边在知识图谱中缺失，就像许多类似不完整和稀疏的知识图谱一样，KGQA模型必须潜在地在知识图谱上推理一条更长的路径（在图中以粗体标出）。此外，KGQA模型施加了一个3跳的邻域大小限制，这使得真实答案“犯罪”无法触及。

在这里插入图片描述

图1：在稀疏和不完整的知识图谱（KG）中进行多跳问答（KGQA）的挑战：在不完整的KG中，缺少边genre(Gangster No. 1, Crime)使得回答输入的自然语言问题变得更加困难，因为KGQA模型可能需要在KG上推理一条更长的路径（用粗线标记的边）。现有基于多跳知识图谱的问题回答方法也施加了启发式邻域限制（图中阴影区域），这通常使得真实答案（例如本例中的犯罪）无法触及。我们提出的EmbedKGQA方法通过在多跳问题回答过程中利用输入知识图谱的嵌入来克服这些限制。有关更多详细信息，请参阅图2和第4节。

在另一条研究路线上，已经有很多工作利用知识图谱嵌入来预测知识图谱中缺失的链接，从而减少知识图谱的稀疏性（Bordes等人，2013；Trouillon等人，2016；Yang等人，2014a；Nickel等人，2011）。知识图谱嵌入方法学习知识图谱中实体和关系的高维嵌入，然后用于链接预测。尽管知识图谱（KG）嵌入方法具有很高的相关性，但它们尚未被用于多跳KG问答（multi-hop KGQA）——在这篇论文中，我们填补了这一空白。特别是，我们提出了一种名为EmbedKGQA的创新系统，该系统利用知识图谱嵌入来执行多跳知识图谱问答。我们在本文中做出了以下贡献：

我们提出了一种用于多跳知识图谱问答（KGQA）任务的新方法——嵌入式KGQA（EmbedKGQA）。据我们所知，EmbedKGQA是第一种将知识图谱嵌入用于此任务的方法。尤其在处理稀疏知识图谱的多跳KGQA时，EmbedKGQA表现得非常有效。
嵌入式KGQA（EmbedKGQA）放宽了从预设局部邻域中选择答案的要求，这是以前针对此项任务的方法强加的一个不理想的约束。
通过在多个真实世界数据集上进行大量实验，我们证明了Embed-KGQA相对于最先进的基线方法的有效性。

我们已经提供了EmbedKGQA的源代码，以鼓励可重复性。

2 相关工作 KGQA

在以往的工作中（李等，2018）使用了TransE，（Bordes等人，2013）嵌入式方法来回答事实性问题。然而，这需要为每个问题标注地面真相关系，并且不适用于多跳问题回答。在另一条研究线索中（Yih等人，2015）和（Bao等人，2016）提出了提取特定子图来回答问题的方法。方法在（Bordes等人，2014a）中介绍的，为一个头部实体生成的子图被投影到高维空间中，以用于回答问题。记忆网络也被用于学习知识图谱中事实的高维嵌入以进行问答任务（Bordes等人，2015）。像（Bordes等人，2014b）这样的方法在训练过程中学习问题和相应三元组之间的相似函数，并在测试时为问题打分。（Yang等人，2014b）和（Yang等人，2015）利用基于嵌入的方法将自然语言问题映射到逻辑形式。方法如（戴等，2016；董等，2015；郝等，2017；卢科夫尼科夫等，2017；尹等，2016）利用神经网络学习一个评分函数来对候选答案进行排名。一些工作如（穆罕默德等，2017；图尔和乔伊奇，2016）将每个关系视为一个标签，并将问答任务建模为分类问题。将这些方法扩展到多跳问题回答是具有挑战性的。

最近，有一些研究将文本语料库作为知识来源，除了知识图谱（KG）之外，用于回答关于KG的复杂问题（Sun等，2018，2019a）。这种方法在KG不完整的情况下很有用。然而，这给问答系统带来了另一个级别的复杂性，并且文本语料库可能并不总是可用。

知识图谱补全方法：近年来，使用知识图谱嵌入进行链接预测已经成为一个热门研究领域。一般的框架是为知识图谱中的三元组（头实体，关系，尾实体）定义一个得分函数，并以这种方式约束它们，使得正确三元组的得分高于错误三元组的得分。

RESCAL（Nickel等人，2011年）和DistMult（Yang等人，2015年）学习了一个包含头实体和尾实体向量之间的双线性乘积和关系矩阵的评分函数。ComplEx（Trouillon等人，2016年）在复数空间中表示实体向量和关系矩阵。SimplE（Kazemi和Poole，2018年）和TuckER（Balaˇzevi´c等人，2019年）分别基于Canonical Polyadic（CP）分解（Hitchcock，1927年）和Tucker分解（Tucker，1966年）。

TransE（Bordes等人，2013）将实体嵌入到高维实数空间中，而关系则表示为头部实体和尾部实体之间的平移。另一方面，RotatE（Sun等人，2019b）将在复数空间中投影实体，关系则用复平面上的旋转来表示。

ConvE（Dettmers等人，2018）利用卷积神经网络来学习头实体、尾实体和关系之间的评分函数。InteractE（Vashishth等人，2019）在ConvE的基础上进行了改进，增加了特征交互。