Empowering Language Models with Knowledge Graph Reasoning for Open-Domain Question Answering

最新推荐文章于 2025-11-25 15:56:53 发布

UnknownBody

最新推荐文章于 2025-11-25 15:56:53 发布

阅读量310

点赞数

CC 4.0 BY-SA版权

分类专栏： Knowledge Graph 文章标签：语言模型知识图谱人工智能

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/132667713

Knowledge Graph 同时被 2 个专栏收录

85 篇文章 ¥99.90 ¥299.90

订阅专栏

LLM 日更

828 篇文章

已下架不支持订阅

本文介绍了一种名为OREOLM的新模型，它结合了知识图谱推理与语言模型，以增强开放领域问答的性能。OREOLM在RoBERTa和T5中展现出显著提升，尤其在推理缺失关系事实方面。此外，模型能提供推理路径作为预测解释。然而，其局限性包括推理步骤限制、大量实体嵌入表的预训练需求、实体链接的依赖以及仅支持关系路径推理。

本文是LLM系列文章，针对《Empowering Language Models with Knowledge Graph Reasoning for Open-Domain Question Answering》的翻译。

摘要

回答开放领域的问题需要掌握有关上下文实体的世界知识。由于预先训练的语言模型缺乏存储所有所需知识的能力，因此通常使用外部知识源（如知识图谱）来增强语言模型。在这项工作中，我们提出了knOwledge REasOning授权语言模型（OREOLM），该模型由一个新的知识交互层组成，该层可以灵活地插入到现有的基于Transformer的LM中，以与可微知识图谱推理模块协同交互。通过这种方式，LM引导KG走向期望的答案，而检索到的知识改进了LM。通过在RoBERTa和T5中采用OREOLM，我们显示出显著的性能提升，在闭书设置中实现了最先进的结果。性能的提高主要来自KG推理推断缺失关系事实的能力。此外，OREOLM提供了推理路径作为解释模型决策的理由。

1 引言

2 方法

3 实验

4 相关工作

5 结论

我们提出了OREOLM，这是一个将符号KG推理与现有LM相结合的新模型。我们展示了OREOLM可以为开放域QA基准带来显著的性能提升，无论是对于闭书和开书设置，还是仅编码器和编码器-解码器模型。此外，OREOLM生成有助于解释模型预测的推理路径。未来，我们希望通过训练来改进OREOLM，以执行更多的推理步骤，支持局部推理，并将OREOLM应用于更广泛的知识密集型NLP任务。