Empowering Language Models with Knowledge Graph Reasoning for Open-Domain Question Answering-优快云博客

本文是LLM系列文章，针对《Empowering Language Models with Knowledge Graph Reasoning for Open-Domain Question Answering》的翻译。

用知识图谱推理增强语言模型的问答能力

摘要
1 引言
2 方法
3 实验
4 相关工作
5 结论
6 局限性

摘要

回答开放领域的问题需要掌握有关上下文实体的世界知识。由于预先训练的语言模型缺乏存储所有所需知识的能力，因此通常使用外部知识源（如知识图谱）来增强语言模型。在这项工作中，我们提出了knOwledge REasOning授权语言模型（OREOLM），该模型由一个新的知识交互层组成，该层可以灵活地插入到现有的基于Transformer的LM中，以与可微知识图谱推理模块协同交互。通过这种方式，LM引导KG走向期望的答案，而检索到的知识改进了LM。通过在RoBERTa和T5中采用OREOLM，我们显示出显著的性能提升，在闭书设置中实现了最先进的结果。性能的提高主要来自KG推理推断缺失关系事实的能力。此外，OREOLM提供了推理路径作为解释模型决策的理由。

1 引言

2 方法

3 实验

4 相关工作

5 结论

我们提出了OREOLM，这是一个将符号KG推理与现有LM相结合的新模型。我们展示了OREOLM可以为开放域QA基准带来显著的性能提升，无论是对于闭书和开书设置，还是仅编码器和编码器-解码器模型。此外，OREOLM生成有助于解释模型预测的推理路径。未来，我们希望通过训练来改进OREOLM，以执行更多的推理步骤，支持局部推理，并将OREOLM应用于更广泛的知识密集型NLP任务。