Joint Reasoning with Language Models and Knowledge Graphs for Commonsense Question Answering

本文是LLM系列文章，针对《JointLK: Joint Reasoning with Language Models and Knowledge Graphs for Commonsense Question Answering》的翻译。

现有的用于常识性问答的KG增强模型主要集中于设计精细的图神经网络（GNN）来对知识图（KG）进行建模。然而，它们忽略了（i）对问题上下文表示和KG表示的有效融合和推理，以及（ii）在推理过程中从有噪声的KG中自动选择相关节点。在本文中，我们提出了一个新的模型JointLK，该模型通过LM和GNN的联合推理以及动态KGs修剪机制来解决上述限制。具体来说，JointLK通过一种新颖的密集双向注意力模块在LM和GNN之间进行联合推理，其中每个问题标记都参与到KG节点上，每个KG节点都参与到问题标记上，两种模态表示通过多步交互相互融合和更新。然后，动态修剪模块使用联合推理生成的注意力权重递归地修剪不相关的KG节点。我们在CommonsenseQA和OpenBookQA数据集上评估了JointLK，并展示了它对现有LM和LM+KG模型的改进，以及它执行可解释推理的能力。

摘要

1 引言

2 相关工作

3 方法

4 实验设置

5 结果与分析

6 结论

在这项工作中，我们提出了JointLK，并提供了一组实验来证