GLaM: Fine-Tuning Large Language Models for Domain Knowledge Graph Alignment

本文是LLM系列文章，针对《GLaM: Fine-Tuning Large Language Models for Domain Knowledge Graph Alignment via Neighborhood Partitioning and Generative Subgraph Encoding》的翻译。

摘要

将大型语言模型（LLM）与从特定领域数据派生的知识图谱相集成，代表着朝着更强大、更真实的推理方向迈出了重要的一步。随着这些模型的能力越来越强，使它们能够对真实世界的知识图谱执行多步骤推理，同时最大限度地减少幻觉，这一点至关重要。虽然大型语言模型擅长对话和文本生成，但它们在互联实体的领域专用图上推理的能力仍然有限。例如，我们能否根据私人数据库中的关系和属性，查询LLM，以确定专业网络中针对特定目标的最佳联系人？答案是否定的——这种能力超出了目前的方法。然而，这一问题凸显了一个必须解决的关键技术差距。科学、安全和电子商务等领域的许多高价值应用程序都依赖于编码独特结构、关系和逻辑约束的专有知识图谱。我们介绍了一个用于开发图对齐语言模型（GLAM）的微调框架，该框架将知识图谱转换为具有标记问答对的替代文本表示。我们证明，以特定的基于图的知识为基础的模型扩展了模型基于结构推理的能力。我们的方法利用大型语言模型的生成能力来创建数据集，并提出了一种有效的替代检索增强生成风格的方法。

引言

问题定义

技术方法和相关工作

方法

实验

结论和未来工作

我们展示了一种通过微调将特定领域的知识图谱集成到大型语言模型中的有效方法。从经验上讲，该技术在多跳推理能力方面比基本LLM有显著的提高。我们提出的微调方法通过最大限度地利用原始LLM的优势——文本理解、常识知识和生成能力，将图结构及其语义知识编码到LL