GNN IS A COUNTER REVISITING GNN FOR QUESTION ANSWERING

GNN IS A COUNTER? REVISITING GNN FOR QUESTION ANSWERING

这篇论文是在作者在读了QA-GNN Reasoning with Language Models and Knowledge Graphs之后，为了深入探究GNN 的推理功能，并对GNN进行剖析，找出GNN中真正对推理有作用的部分。
原文：GNN is a Counter? Revisiting GNN for Question Answering

0、ABSTRACT

为了打开GNN的黑盒并研究这些问题，我们剖析了用于QA的最先进的GNN模块，并分析了它们的推理能力。我们发现，即使是一个非常简单的graph neural counter也可以在CommonsenseQA和OpenBookQA上胜过所有现有的GNN模块，这两个流行的QA基准数据集严重依赖知识感知推理。

1、INTRODUCTION

为了QA利用隐性和显性知识,许多现有的作品结合神经网络大pre-trained LMs图已显示可实现出色的 QA 性能。

这些方法通常遵循两步范式来处理KGs：1）模式图基础 2）用于推理的图建模

在第 1 步中，模式图是检索到的与 QA 上下文相关并基于概念的 KG 子图；这样的子图包括带有概念文本的节点、带有关系类型的边以及它们的邻接矩阵。

在第2步中，通过精心设计的基于图形的神经模块进行图形建模。

鉴于今天的 QA 系统已经变得越来越复杂，我们想重新审视这些系统并提出几个基本问题：这些基于 GNN 的模块对于 QA 来说是否过于复杂或过于复杂？ 他们在推理知识中扮演的重要角色是什么？

解剖

我们使用SparseVD作为工具来剖析现有的图网络架构，将SparseVD应用于GNN模块的内层，使用它们的稀疏比来分析每一层对推理过程的贡献。

发现

GNN模块过于参数化：GNN中的一些层可以被修剪成非常低的稀疏比率，并且初始节点嵌入是不必要的。

模型

我们设计了 Graph Soft Counter (GSC)，这是一个非常简单的图神经模型，基本上用作知识图的计数器。

贡献：

• 现有GNN模块的分析: 我们使用SparseVD作为诊断工具来分析最先进的知识感知GNN模块各个部分的重要性。我们发现这些GNN模块对于它们在QA推理过程中可以完成的工作过于复杂。

• 边计数的重要性：我们证明了图中边的计数在知识感知推理中起着至关重要的作用

• GSC 模块的设计：我们提出了图形计数器（GSC），一种简单而有效的神经模块，作为现有复杂 GNN 模块的替代品。与现有的用于 QA 的 GNN 模块相比，可训练参数不到 1%，我们的方法甚至在两个基准 QA 数据集上优于那些复杂的 GNN 模块。

2、ANALYSIS

2.1 准备工作

• 节点嵌入

• 相关性