ENHANCING LARGE LANGUAGE MODELS WITH RELIABLE KNOWLEDGE GRAPHS

文章主要内容总结

本文是香港理工大学Qinggang Zhang的博士论文，核心主题是通过优化和利用可靠的知识图谱（KG）来增强大型语言模型（LLMs）的性能。论文针对LLMs依赖隐性非结构化知识导致的事实不准确、可解释性差，以及KG存在的噪声、不完整性和与LLMs整合困难等问题，提出了一个系统性框架，通过五个相互关联的研究贡献形成从KG优化到LLM整合的完整流程，具体包括：

1. 知识图谱错误检测：提出基于对比学习的结构感知方法（CAGED），通过生成多视图三元组表示识别错误事实，并结合实体属性构建属性感知框架（AEKE），融合结构和语义信号以修正错误。
2. 知识图谱补全：设计归纳补全模型（NORAN），通过逻辑推理和关系网络推断动态演化KG中缺失的关系，解决KG不完整性问题。
3. LLM与KG整合：提出KnowGPT框架，通过动态提示将结构化图谱推理融入LLMs，增强事实 grounding，提升LLMs的鲁棒性、可解释性和适应性。

创新点

1. 对比知识图谱错误检测（CAGED）：基于对比学习识别KG中的结构不一致，通过多视图三元组表示的一致性评估事实可靠性，优于传统嵌入方法。
2. 属性感知错误修正（AEKE）：将实体属性融入嵌入空间，统一结构和语义信号，解决仅依赖结构无法识别的复杂错误（如实体属性与关系的矛盾）。
3. 归纳