GNN IS A COUNTER REVISITING GNN FOR QUESTION ANSWERING

GNN IS A COUNTER? REVISITING GNN FOR QUESTION ANSWERING

这篇论文是在作者在读了QA-GNN Reasoning with Language Models and Knowledge Graphs之后，为了深入探究GNN 的推理功能，并对GNN进行剖析，找出GNN中真正对推理有作用的部分。
原文：GNN is a Counter? Revisiting GNN for Question Answering

0、ABSTRACT

为了打开GNN的黑盒并研究这些问题，我们剖析了用于QA的最先进的GNN模块，并分析了它们的推理能力。我们发现，即使是一个非常简单的graph neural counter也可以在CommonsenseQA和OpenBookQA上胜过所有现有的GNN模块，这两个流行的QA基准数据集严重依赖知识感知推理。

1、INTRODUCTION

为了QA利用隐性和显性知识,许多现有的作品结合神经网络大pre-trained LMs图已显示可实现出色的 QA 性能。

这些方法通常遵循两步范式来处理KGs：1）模式图基础 2）用于推理的图建模

在第 1 步中，模式图是检索到的与 QA 上下文相关并基于概念的 KG 子图；这样的子图包括带有概念文本的节点、带有关系类型的边以及它们的邻接矩阵。

在第2步中，通过精心设计的基于图形的神经模块进行图形建模。

鉴于今天的 QA 系统已经变得越来越复杂，我们想重新审视这些系统并提出几个基本问题：这些基于 GNN 的模块对于 QA 来说是否过于复杂或过于复杂？ 他们在推理知识中扮演的重要角色是什么？

解剖

我们使用SparseVD作为工具来剖析现有的图网络架构，将SparseVD应用于GNN模块的内层，使用它们的稀疏比来分析每一层对推理过程的贡献。

发现

GNN模块过于参数化：GNN中的一些层可以被修剪成非常低的稀疏比率，并且初始节点嵌入是不必要的。

模型

我们设计了 Graph Soft Counter (GSC)，这是一个非常简单的图神经模型，基本上用作知识图的计数器。

贡献：

• 现有GNN模块的分析: 我们使用SparseVD作为诊断工具来分析最先进的知识感知GNN模块各个部分的重要性。我们发现这些GNN模块对于它们在QA推理过程中可以完成的工作过于复杂。

• 边计数的重要性：我们证明了图中边的计数在知识感知推理中起着至关重要的作用

• GSC 模块的设计：我们提出了图形计数器（GSC），一种简单而有效的神经模块，作为现有复杂 GNN 模块的替代品。与现有的用于 QA 的 GNN 模块相比，可训练参数不到 1%，我们的方法甚至在两个基准 QA 数据集上优于那些复杂的 GNN 模块。

2、ANALYSIS

2.1 准备工作

• 节点嵌入

• 相关性得分

• 邻接矩阵

• 边缘嵌入

2.2 解析

我们保持目标模型架构不变，并将模型中权重的每一部分参数化为高斯分布。 之后，这个概率模型将使用交叉熵损失和 KL 散度正则化项进行训练。 最终，我们得到了具有不同稀疏比率的修剪模型。 如表 1 所示，我们研究了三种具有代表性的基于 GNN 的 QA 方法，稀疏模型可以达到原始模型的精度，这表明我们的解剖正则化不会伤害模型。

​ 表1: 为了保持分析的推理能力，我们的SparseVD工具修剪了基于GNN的模型，而不会降低CommonsenseQA内部拆分的准确性。

2.3 观察和假设

在图 3 中，我们绘制了 GNN 推理模块的 SparseVD 训练期间一些代表性层的稀疏率。

根据这些图，我们将我们的主要观察总结如下：

1）左图显示，对边三元组（边/节点类型信息）进行编码的边编码器保留了相对较高的稀疏率，而节点得分嵌入层可以完全 修剪;
2) 中间图显示了 GNN 内部的层，所有的稀疏率都较低，而 value 层的稀疏率相对高于 key/query 层；
3) 右图显示了三种代表性 GNN 方法的概念嵌入层，它们处理初始节点嵌入，可以完全丢弃。

受这些发现的启发，我们提出了以下设计指南，用于更简单而有效的图神经模块，用于知识感知推理：

• 节点嵌入。初始节点嵌入和额外分数嵌入在这些场景中被证明是可有可无的，因此我们可以直接移除嵌入层。
• 边缘嵌入。**边缘编码器层很难修剪，这表明边缘/节点类型信息对于推理至关重要，因此我们进一步利用它来获得更好的表示。
• 消息传递层。GNN层内部的线性层 (查询、键、值等) 可以被修剪成非常低的稀疏比，这表明GNN在这些系统中可能被过度参数化，我们可以为这些层使用更少的参数。
• 图形池。最终的基于注意力的图池化聚合图上的节点表示以获得图表示。我们观察到池内的键/查询层可以被修剪掉；因此，图池化器可以简化为线性变换。

3、GRAPH SOFT COUNTER

基于我们在第 2 节中的发现，我们设计了图形软计数器 (GSC)，这是一个用于处理图形信息的简单图形神经模块。如算法 1 所示，只有两个GSC 中用于计算图形分数的基本组件：边缘编码器和图形软计数器层。 我们可以通过简单地将图形分数和上下文分数相加来获得 QA 选择分数。

Graph Soft Counter 层是无参数的，只保留基本的图操作：传播和聚合。

图4: Graph软计数器 (右) 极大地简化了常规gnn的体系结构 (左)。GSC层是无参数的，并且仅保留基本的图操作: 1) 使用传入的节点 (节点内) 嵌入更新每个边缘嵌入; 2) 通过聚合边缘嵌入来更新每个节点嵌入。由于我们将隐藏维度减少到仅1，因此可以将GSC视为图形上的软计数器，用于生成输出节点的最终分数。

如图 4 所示，GSC 层简单地传播和聚合边和节点上的数字，遵循两步方案：

1）用节点内值更新边缘值，这通过简单的索引和添加来完成；

2）通过聚合边缘值来更新节点值，这是通过将边缘值分散到节点外来完成的。

也就是说：一层 GSC 包含两步，即先将节点的值加到边上，再将边的值加到节点上。

如表3所示，就时间和空间而言，GSC的计算复杂度远小于基线。

表2显示GSC中的可训练参数明显少于以前的方法，因为我们的消息传递层是无参数的。GSC的模型大小也非常小，因为我们不使用任何初始节点嵌入。

4、EXPERIMENTS

表 8：使用 MLP（上）和最大检索节点数（下）对硬计数器的消融研究，表明 1）硬计数器的性能与基于 GNN 的方法相当； 2) GSC 工作良好，即使仅使用在 QA 上下文中发生的实体，通常包含少于 32 个节点

在 CommonsenseQA 上，GSC（本方法）超过了所有基于 GNN 的方法

表 4：CommonsenseQA 内部拆分的性能比较（对照实验）。由于官方测试是隐藏的，我们在此报告内部开发（IHdev）和测试（IHtest）的准确性，遵循林等人的数据拆分。 （2019）。

在 CommonsenseQA 的 Leaderboard 上，GSC 排名也非常靠前。这里排在首位的 UnifiedQA，其参数量是 GSC 的 30 倍。

在 OpenBookQA 上，GSC 也有相似的惊人效果，甚至在 leaderboard 上超过了 30 倍参数的 UnifiedQA！


如果 GSC 的预测结果和基于 GNN 推理的模型预测结果比较一致，那么就说明 GSC 也有与 GNN 差不多的推理能力。实验发现，两次 GSC 的结果与 ground truth 的交集有 69% 的重合率（下图第一个），而 GSC 与前面不同 baseline 和 ground truth 也有 60% 左右的重合率，且与基于 GNN 推理的模型重合率更大。这表明 GSC 与 GNN 有差不多的推理能力。

此外，作者还举出一个例子，来演示 GSC 的推理过程。直接通过每一步的分数，我们就能得到推理路径，最终答案节点也得到一个分数，在不同的答案之间就用这个分数做出选择。

5、CONCLUSION

我们研究了最先进的基于GNN的QA系统，并发现它们被过度参数化。我们使用SparseVD进行的诊断分析表明，初始节点嵌入和某些GNN层是完全可有可无的。受我们观察的启发，我们设计了一个更简单但有效的基于计数器的模型，名为Graph Soft counter (GSC)。令人惊讶的是，在不到1% 个可训练参数的情况下，我们的模型在两个流行的QA基准数据集上优于最先进的GNN同行。我们的工作表明，计数在知识感知推理过程中起着至关重要的作用。为质量保证构建更全面的人类推理模块仍然是一个具有挑战性的开放问题。