GreaseLM: 探索知识图谱增强的语言模型

GreaseLM: 探索知识图谱增强的语言模型

GreaseLM [ICLR 2022 spotlight]GreaseLM: Graph REASoning Enhanced Language Models for Question Answering 项目地址: https://gitcode.com/gh_mirrors/gr/GreaseLM

1. 项目基础介绍

GreaseLM 是由斯坦福大学 SNAP (Stanford Network Analysis Project) 团队开发的一个开源项目。该项目致力于结合图神经网络（Graph Neural Networks, GNNs）与自然语言处理（Natural Language Processing, NLP）技术，以增强语言模型在问答任务中的推理能力。GreaseLM 的主要编程语言为 Python。

2. 核心功能

GreaseLM 的核心功能是通过图推理增强语言模型，特别是针对问答（Question Answering, QA）任务。具体来说，该项目具备以下功能：

• 图知识整合：将 ConceptNet、CommonsenseQA 和 OpenBookQA 等数据集与 Disease Database 和 DrugBank 等生物医学知识图谱相结合，构建丰富的知识图。
• 子图提取：针对每个问答对，提取相关的子图，帮助模型更好地理解和推理问题与答案之间的关系。
• 模型训练与评估：提供训练和评估 GreaseLM 模型的脚本，支持在多个数据集上进行训练和测试。
• 预训练模型：提供在 CommonsenseQA、OpenBookQA 和 MedQA-USMLE 数据集上预训练的模型，以便快速开始研究和应用。

3. 最近更新的功能

根据项目的最新动态，最近更新的功能包括：

• 数据预处理：更新了数据预处理脚本，优化了 ConceptNet 的处理流程，将原来的 42 种关系类型合并为 17 种，以提高模型的泛化能力。
• 模型训练：改进了模型训练流程，增加了对多个 GPU 的支持，提高了训练效率。
• 性能提升：通过对模型的优化，提升了在多个数据集上的性能，特别是在 CommonsenseQA 和 OpenBookQA 数据集上取得了令人瞩目的结果。

GreaseLM 的不断更新和完善，使其成为了研究知识图谱增强语言模型在问答任务中的一个非常有价值的工具。

GreaseLM [ICLR 2022 spotlight]GreaseLM: Graph REASoning Enhanced Language Models for Question Answering 项目地址: https://gitcode.com/gh_mirrors/gr/GreaseLM