Sequence-to-Sequence Knowledge Graph Completion and Question Answering

 [2203.10321] Sequence-to-Sequence Knowledge Graph Completion and Question Answering (arxiv.org)

目录

1 Abstract

2 Introduction

3 KGT5 Model

3.1 Textual Representations & Verbalization

3.2 Training KGT5 for Link Prediction

3.3 Link Prediction Inference

3.4 KGQA Training and Inference

---

1 Abstract

KGE为每个实体和关系生成低维嵌入向量，在真实世界有数百万个实体的图上，会导致模型的参数过大。对于下游任务，这些实体表征需要集成到多阶段pipline中，限制了它们的使用。作者发现可以将encoder-decoder的Transformer当作KGE模型。将KG链接预测任务当作sequence-to-sequence任务，并将以前KGE模型使用的triple score方式变为自回归解码方式。

2 Introduction

作者将KG链接预测任务当作一个seq2seq的任务并且在这个任务上训练一个encoder-decoder的Transformer。使用预训练的模型进行链接预测，之后微调它用于QA。在对QA进行微调时，使用链接预测目标进行正则化。通过这种统一的seq2seq结构，实现了（1）可扩展性——通过使用组合实体表示和自回归解码（而不是对所有实体进行评分）进行推理（2）质量——在两个任务上获得了最先进的性能（3）多功能性——相同的模型可以用于多个数据集上的KGC和KGQA，以及（4）简单性——使用现成的模型获得所有结果，没有任务或数据集特定的超参数调整。

贡献：

（1）证明了KG链接预测和QA可以被视为序列到序列的任务，并使用单个编码器-解码器transformer成功解决;(2)使用这种称为KGT5的简单但强大的方法，将KG链路预测的模型大小减少了98%，同时在具有90M实体的数据集上优于传统的KGE;（3）通过KGQA在不完全图上的任务展示了这种方法的多功能性。通过对KG链路预测进行预训练和对QA进行微调，KGT5在多个大规模KGQA基准上的性能与更复杂的方法相似或更好。