论文浅尝 | 基于历史链推理的时间知识图谱预测（ACL2024）

笔记整理：和东顺，天津大学硕士，研究方向为软件缺陷分析

论文链接：https://aclanthology.org/2024.findings-acl.955/

发表会议：ACL 2024

1. 动机

现有基于LLMs的模型在处理时间知识图谱预测时面临着几个问题：（1）大多数模型仅关注一阶历史信息，忽略了高阶历史的价值；（2）在处理大量历史信息时，LLMs往往面临推理性能下降的问题；（3）单纯依赖LLMs进行时间推理时，仍然无法充分利用图模型对结构信息的捕捉能力。本文提出了一种创新的“历史链推理”（Chain-of-History, CoH）方法，旨在通过逐步探索高阶历史信息来增强LLMs在时间知识图谱预测中的推理能力。此外，CoH作为一个插件模块，可以与传统的图模型结合，弥补LLMs在结构信息建模上的不足，从而显著提升预测精度。

图1: 使用 LLM 对 TKG 进行推理的示例。在图 （a） 和 （b） 中，提供了具有不同历史的 LLM，这促使 LLM 为预测的事实推理不同的答案。

*2. 贡献**
*

******（********1）本文********是第一个探索为 TKG 预测的 LLM 提供大量高阶历史记录的必要性和难度的工作。本文提出了历史链推理方法，该方法采用 LLM 逐步探索历史链。

（2）本文是第一个提出使用 LLM 增强基于图的 TKG 模型性能的工作，利用 LLM 的语义理解优势来弥补基于图的模型的缺点。

（3）本文对三个常用的 TKG 数据集和三个基于图的 TKG 模型进行了广泛的实验，结果证明了 CoH 的有效性。

3. 方法

CoH的细节如图 2 所示：

图2：两步 CoH 推理程序的图示。在第一步中，仅向 LLM 提供一阶历史记录，并要求推断最重要的历史记录。在第二步中，根据推断出的一阶历史为 LLM 提供二阶历史链，并要求推断给定查询的可能答案。然后，将 LLM 和基于图形的模型推断的答案自适应融合以做出最终预测。请注意，这仅用作两步推理示例，可以使用 CoH 执行更多步骤。

*3.1* *历史信息处理*

每个事实在时间知识图谱中通常表示为四元组（s, r, o, t），其中s和o分别表示实体，r表示关系，t表示时间。CoH方法将这些四元组转换为自然语言句子，以便LLMs能够理解和处理。例如，四元组“（德国，签署协议，丹麦，2023-06-02）”被转化为“（德国与丹麦于153天时签署协议）”。这种转换不仅简化了信息的表达，也帮助LLMs避免直接依赖时间数值，从而专注于推理。

此外，本文还提出将时间信息抽象化处理，将具体的时间如“2023-06-02”转换为“153天”，这样避免了模型依赖特定的时间数据，而更多依赖推理过程本身。

*3.2* *推理步骤*

在CoH的推理过程中，LLMs通过逐步探索与查询相关的历史链来进行推理。每一步推理都会接收到不同层次的历史信息，以便让模型能够根据更加全面的历史背景做出推断：

步骤1到步骤k-1推理。在步骤1中，LLM只提供q的一阶历史，并被指示推理主要有助于回答q的n个一阶历史。从步骤2到步骤k-1，LLM在步骤i中提供i阶历史链（i={2,3，··，k-1}），并被指令推断n个最重要的历史链。在这个步骤序列中，步骤i-1中LLM的输出是推断的（i-1）阶历史链，然后每个链都被提供相应的阶历史，以组成i阶历史链。这些历史链随后将作为下一步i的输入。如图2所示，“德国在t2谴责俄罗斯”是步骤1的输出之一。然后，它被提供相应的二阶历史“俄罗斯在t1与乌克兰发生战争”，组成二阶历史链，作为步骤2的输入。

步骤k推理。在步骤k中，LLM被提供k阶历史链，并被指示对给定查询q的可能答案进行推理。如图2所示，步骤2的输出包括q的几个可能答案。每个答案都有一个数字索引（1,2,3，··），索引越低，表示答案正确的概率越高。

*3.3 结果处理与融合*

为了确保CoH方法的推理结果能够最大化地提高时间知识图谱预测的精度，作者设计了一种结果融合机制，将LLMs的预测结果与基于图的模型（如图神经网络，GNNs）的预测结果相结合。具体过程如下：

LLMs的得分计算：每个LLMs的预测结果会根据输出的序号计算得分。较低的序号代表较高的正确性概率，因此通过指数衰减函数转换后计算得分。

图模型的得分计算：与LLMs的输出不同，图模型的预测结果基于图结构数据进行计算。通过这种方式，图模型能更好地捕捉图谱中的结构信息。

结果融合：最后，LLMs与图模型的得分会通过加权融合得出综合得分。

4. 实验

*4.1* *实验设置*

本文在三个广泛使用的TKG数据集（ICEWS14、ICEWS18、ICEWS05-15）上进行了评估。评估指标采用了领域内通用的MRR（Mean Reciprocal Rank）和Hits@{1,3,10}，用于衡量模型预测排名的准确性。

在CoH实现方面，本文选用了开源的大语言模型 Mixtral-8x7B，并采用两步推理机制进行实验。在第一步中，LLM接收100条第一阶历史信息，并从中筛选出30条最重要的事件用于后续推理。在第二步中，基于第一步筛选出的历史链构造第二阶历史链，并进行答案预测。

为了确保公平性，本文对比实验时将LLMs和图模型统一评估机制，例如在图模型常用的测试集扩充操作（正负样本反转）中，LLMs也进行同样的处理。

*4.2* *性能对比实验*

本文将CoH方法分别应用于LLMs单独预测和与三种主流图模型（RE-NET、RE-GCN、TiRGN）组合预测的两种场景下进行对比分析，结果如表1所示。

表1: CoH 在三个数据集上对 TKG 预测的 MRR （%） 、Hit@1 （%）、Hit@3 （%） 和 Hit@10 （%） 的性能比较。所有结果均在原始量度下获得。最高性能以粗体突出显示。* 表示重现的模型，采用与本文相同的评估和 LLM。∆改进∆改进*表示 CoH 和基于 ICL 的模型分别在百分比上优于原始基于图的主干。

结果显示：

在纯LLM场景下，CoH显著优于此前仅使用第一阶历史信息的ICL方法，在三个数据集上MRR平均提升5%~11%不等。

当将CoH作为插件与图模型结合时，进一步提升了原图模型的预测能力，相较于未加入CoH时的性能，MRR最高提升达到5%以上。

*4.3* *消融实验*

为了进一步探究CoH方法的关键组成部分，作者进行了三组消融实验，结果如表2所示：

表2: 消融研究旨在调查 CoH 的高阶历史信息的有效性、分步机制和 CoH 在 MRR （%） 、Hit@1 （%）、Hit@3 （%） 和 Hit@10 （%） 方面的评分排序程序。 所有结果都是在原始指标下获得的。

高阶历史信息有效性：将推理限制在第一阶历史或第二阶历史，结果表明加入第二阶信息后模型性能普遍提升。

逐步推理机制有效性：将LLM推理得到的重要历史链替换为时间最近的历史链进行对比，结果显示逐步筛选出的历史信息显著优于基于时间的简单选择。

答案排序机制有效性：打乱LLM预测答案的排序顺序后再计算得分，性能大幅下降，表明LLM输出的排名具有明确的可信度，适用于评分融合。

*4.4* *案例研究*

本文选取了两个典型案例，对比LLMs-CoH与图模型在具体查询上的预测过程与结果，如表3所示。分析发现，在图模型难以区分相似实体或缺乏语义理解的情况下，LLM能够通过语义关联推理出正确答案。案例清楚展示了LLMs在语义层面的优势及与图结构推理的互补性。

表3:两个查询用于显示 CoH 推理的过程。粗体历史记录表示步骤 1 中 LLM 推断的一阶历史记录，蓝色历史记录表示相应的二阶历史记录。这两种历史记录由二阶历史记录链组成，供 LLM 在步骤 2 中推断答案。 红色的答案表示给定查询的基本事实。

*4.5* *可解释性分析*

为了验证模型的可解释性，本文要求LLM对其推理出的每个候选答案给出理由。实验显示，模型能较准确地溯源其推理路径，例如通过“X 与 Y 交流，Y 与 Z 接触”，进而推断出“X 与 Z”的关系。这说明LLMs具备良好的高阶语义链追踪能力。

*4.6* *数据泄露与先验知识影响*

考虑到使用预训练语言模型可能存在对数据集事实的“记忆”，本文测试了LLM是否已见过相关事实。结果表明，三个数据集中被LLM“已知”的事实比例低于6%，影响范围有限。

此外，本文还通过实体和关系匿名化实验发现，剥夺LLM的先验语义知识会导致性能一定程度下降，说明模型确实在推理中部分利用了语义背景。

5. 总结

本文首先分析了现有基于LLM的模型在如何有效地为LLM提供全面的高阶历史信息方面的不足和挑战。然后本文指出，仅依靠LLM的推理能力进行TKG预测仍然是有限的。为了解决这些问题，本文提出了CoH推理，该推理实现了LLM对高阶历史的有效利用。本文将CoH设计为即插即用，以补充和增强基于图的模型的性能。大量的实验结果证明了CoH的优越性，以及它在提高基于图的TKG预测模型性能方面的有效性。

---

如何学习AI大模型 ？

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。【保证100%免费】🆓

优快云粉丝独家福利

这份完整版的 AI 大模型学习资料已经上传优快云，朋友们如果需要可以扫描下方二维码&点击下方优快云官方认证链接免费领取 【保证100%免费】

读者福利： 👉👉优快云大礼包：《最新AI大模型学习资源包》免费分享 👈👈

（👆👆👆安全链接，放心点击）

对于0基础小白入门：

如果你是零基础小白，想快速入门大模型是可以考虑的。

一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。

👉1.大模型入门学习思维导图👈

要学习一门新的技术，作为新手一定要先学习成长路线图，方向不对，努力白费。

对于从来没有接触过AI大模型的同学，我们帮你准备了详细的学习成长路线图&学习规划。可以说是最科学最系统的学习路线，大家跟着这个大的方向学习准没问题。（全套教程文末领取哈）

👉2.AGI大模型配套视频👈

很多朋友都不喜欢晦涩的文字，我也为大家准备了视频教程，每个章节都是当前板块的精华浓缩。

👉3.大模型实际应用报告合集👈

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。（全套教程文末领取哈）

👉4.大模型实战项目&项目源码👈

光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战项目来学习。（全套教程文末领取哈）

👉5.大模型经典学习电子书👈

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。（全套教程文末领取哈）

👉6.大模型面试题&答案👈

截至目前大模型已经超过200个，在大模型纵横的时代，不仅大模型技术越来越卷，就连大模型相关的岗位和面试也开始越来越卷了。为了让大家更容易上车大模型算法赛道，我总结了大模型常考的面试题。（全套教程文末领取哈）

为什么分享这些资料?

只要你是真心想学AI大模型，我这份资料就可以无偿分享给你学习，我国在这方面的相关人才比较紧缺，大模型行业确实也需要更多的有志之士加入进来，我也真心希望帮助大家学好这门技术，如果日后有什么学习上的问题，欢迎找我交流，有技术上面的问题，我是很愿意去帮助大家的！

这些资料真的有用吗?

这份资料由我和鲁为民博士共同整理，鲁为民博士先后获得了北京清华大学学士和美国加州理工学院博士学位，在包括IEEE Transactions等学术期刊和诸多国际会议上发表了超过50篇学术论文、取得了多项美国和中国发明专利，同时还斩获了吴文俊人工智能科学技术奖。目前我正在和鲁博士共同进行人工智能的研究。

资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。

优快云粉丝独家福利

这份完整版的 AI 大模型学习资料已经上传优快云，朋友们如果需要可以扫描下方二维码&点击下方优快云官方认证链接免费领取 【保证100%免费】

读者福利： 👉👉优快云大礼包：《最新AI大模型学习资源包》免费分享 👈👈

（👆👆👆安全链接，放心点击）