论文阅读：QA-GNN: Reasoning with Language Models and Knowledge Graphsfor Question Answering

论文链接：https://arxiv.org/abs/2104.06378

代码链接：https://github.com/michiyasunaga/qagnn

论文复现：论文复现：QA-GNN: Reasoning with Language Models and Knowledge Graphsfor Question Answering

 参考文献：QA-GNN: Reasoning with Language Models and Knowledge Graphs for Question Answering

一、引言

给定QA环境（例如：问题和答案选择；图1紫色框），结合LM+KG进行推理有两点挑战：

（1）从一个大KG（绿色框）中识别信息知识；

（2）捕捉QA上下文和KG结构的细微差别，以对这两个信息来源进行联合推理。

以前的工作通过获取主题实体（在给定的QA上下文中提到的KG实体）和它们的少跳邻居来从KG检索子图。然而，这会引入许多与QA上下文在语义上不相关的实体节点，特别是当主题实体或跳跃的数量增加时。

此外，现有的LM+KG推理方法将QA上下文和KG视为两个独立的模式。他们分别将LMs应用于QA上下文，将图神经网络（GNN）应用于KG，并且不相互更新或统一它们的表示。这种分离可能会限制他们进行结构化推理的能力，例如，处理否定。

在这里，我们提出了QA-GNN，这是一个端到端的LM+KG问答模型，解决了上述两个挑战。我们首先用 LM 对问答上下文进行编码，同时用 MHGRN 检索 KG 子图。

MHGRN代表Multi-Head Graph Retrieval Network，是一种结合了多头注意力机制的图检索网络。在上下文中，MHGRN用于从知识图谱中检索子图，以便根据问题和答案上下文来获取相关实体和关系信息。通过多头机制，MHGRN能够并行地关注不同部分的知识图谱，提高了子图检索的效率和准确性。MHGRN的设计旨在有效地整合知识图谱的信息，并为QA-GNN模型提供必要的背景知识以辅助问题回答任务。

我们的QA-GNN有两个关键点：

（1）相关性评分：由于KG子图由主题实体的所有少跳邻居组成，因此对于给定的QA上下文，一些实体节点比其他实体节点更相关。因此，我们提出了KG节点相关性评分：我们通过将实体与QA上下文连接起来，并使用预训练的LM计算可能性，来对KG子图上的每个实体进行评分。这提供了一个关于KG的权重信息的一般框架。

（2）联合推理：我们设计了QA上下文和KG的联合图表示，其中我们显式地将QA上下文视为附加节点（QA上下文节点），并将其连接到KG子图中的主题实体，如图1所示。这个联合图，我们称之为工作图，将两个模态统一成一个图。然后，我们用相关分数增强每个节点的特征，并设计了一个新的基于注意力的GNN模块用于推理。

我们在工作图上的联合推理算法同时更新KG实体和QA上下文节点的表示，弥合了两个信息源之间的差距。

本文在常识领域使用的知识图谱是：Concept，用的数据集是：CommonsenseQA 和 OpenBookQA。

在医学领域使用的知识图谱是：UMLS 和 DrugBank，用的数据集是：MedQA-USMLE。

QA-GNN在某些形式的结构化推理（例如，正确处理问题中的否定和实体替换）上表现出更好的性能：在带有否定的问题上，它比经过微调的LM提高了4.6%；而现有的LM+KG模型比经过微调的LM提高了0.6%。
我们还表明：可以以一般KG子图的形式从QA-GNN中提取推理过程，而不仅仅是路径，这提出了一种解释模型预测的方法。

图1：给定QA环境（问题和答案选择;紫色框），我们的目标是通过对语言和知识图（绿色框）进行联合推理来得出答案。

二、方法

如图2所示，给定一个问题和一个答案选项a，我们将它们连接起来以获得QA上下文[q;a]。为了使用LM和KG的知识对给定的QA上下文进行推理，QA- gnn的工作方式如下：

&#