Knowledge Graph-Infused Fine-Tuning for Structured Reasoning in Large Language Models

文章总结与翻译

一、文章主要内容

该文章聚焦大型语言模型（LLMs）在处理需结构化知识任务时存在的推理链缺失、实体级语义理解不足等问题，提出了一种基于知识图谱注入的微调算法框架，旨在提升模型的结构化推理能力，具体内容如下：

1. 研究背景：LLMs虽在通用任务中表现出色，但在需结构化知识的特定领域应用中存在知识稀疏、推理链不完整、语义模糊等局限；知识图谱（KGs）具备强大的结构化组织与可计算性，将其与LLMs结合是推动模型从通用语义建模迈向深度领域理解的重要方向，然而二者在结构和训练范式上存在固有异质性，实现深度融合面临挑战。
2. 核心方法
   • 架构组成：包含预训练语言模型（捕捉上下文语义表示）和知识图谱引导模块（用图结构补充语义单元、促进关系推理）两部分。
   • 知识编码：将知识图谱三元组映射为低维稠密向量，借助图神经网络（如GCN、R-GCN）对知识图谱进行编码，生成结构化知识表示作为结构先验注入语言模型。
   • 融合机制：引入门控单元动态调节语言模型上下文表示与知识图谱信息的融合比例，通过知识感知注意力机制强调实体间语义依赖，构建融合表示。
   • 训练优化：采用联合损失函数，结合任务损失（如语言建模损失）与对齐损失（语言表示和知识表示的欧氏距离对齐项），确保融合表示针对下游任务优化。