19、从图神经网络到稀疏变压器：多跳问答模型的探索

从图神经网络到稀疏变压器：多跳问答模型的探索

1. 模型概述

在多跳问答（MHQA）任务中，我们构建了一个基于图神经网络（GNN）的简化版异质文档实体（HDE）模型。该模型的核心是构建图结构，并通过一系列操作对图节点进行嵌入、编码，最终输出答案候选的概率分布。

1.1 图结构构建

图中包含三种节点类型：
- 实体节点 ：代表文档中的标记跨度，仅考虑与答案候选匹配或问题中出现的主题实体。同一文本在不同位置可能有多个实体节点，称为共指提及（co - mentions）。
- 文档节点 ：每个支持文档对应一个文档节点。
- 候选节点 ：每个答案候选对应一个候选节点。

节点之间通过以下启发式规则连接：
1. 文档节点连接从该文档中提取的实体节点。
2. 若文档中包含候选文本，文档节点连接候选节点。
3. 共指提及边：连接实体的共指提及，便于在长距离输入中关联同一实体的提及。
4. 实体节点连接与其文本匹配的候选节点。
5. 所有候选节点相互连接。

1.2 图节点嵌入

构建图节点嵌入的步骤如下：
1. 为每个文档 (S_i^q)、候选 (C_j^q) 和查询 (q) 生成标记嵌入序列。使用预训练的标记嵌入器（如 GloVe 或 BERT），将文本拆分为嵌入器词汇表识别的标记，再为每个标记生成向量，得到查询、第 (i) 个文档和第 (j) 个候选的标记矩阵 (X_q)、(X_i^s) 和 (X_j^c)。
2. 将