事件知识图谱 - Language Models Can Improve Event Prediction by Few-Shot Abductive Reasoning

Language Models Can Improve Event Predictionby Few-Shot Abductive Reasoning

作者：Xiaoming Shi（蚂蚁集团）

来源：Neurips2023

论文：[neurips.cc]

代码：[github]

引用数：12

参考：[zhihu] [zhihu2]

关键词：事件预测

摘要

大型语言模型在广泛的推理任务中表现出了惊人的性能。在本文中，我们研究了它们是否可以对真实世界的事件进行推理，并有助于提高事件序列模型的预测性能。我们设计了LAMP，这是一个在事件预测中集成了大型语言模型的框架。特别地，该语言模型执行溯因推理以辅助事件序列模型：事件模型在给定过去的情况下提出对未来事件的预测；在一些专家注释的演示的指导下，语言模型学会为每个提议提出可能的原因；搜索模块找出与所述原因匹配的先前事件；评分函数学习检查检索到的事件是否真的会导致该提议。通过在几个具有挑战性的真实世界数据集上进行的广泛实验，我们证明，由于大型语言模型的推理能力，我们的框架可以显著优于最先进的事件序列模型。

1 介绍

提示（prompting）大型语言模型（LLM）（如GPT-3.5）最近已成为执行基于文本的推理任务的标准方法。在本文中，我们研究了它们对真实世界事件进行推理和改进事件预测的能力。特别是，我们关注的是对带有时间戳的事件序列进行建模，并在给定过去的情况下预测未来事件的问题。例如，在医疗保健领域，我们希望对患者的时间戳医院就诊序列进行建模，并根据他们过去的诊断和治疗预测他们未来的症状。这是机器学习中一个长期存在的重要问题。大型语言模型可能有助于推进该问题的解决方案，因为事件序列通常伴随着丰富的文本信息，而大型语言模型擅长处理这些信息。例如：

医疗保健。每次医院就诊都会有一份医生笔记，总结这次就诊，包括患者就诊的科室、临床测量和治疗，以及任何未来的医疗计划。通过阅读这样的文本信息，可以引出一个大型语言模型来回忆它在预训练期间阅读的医学知识，然后对未来的医院就诊进行推理，例如患者可能有什么症状或治疗。

政治。政治的每一个政治事件都可能产生一系列新闻文章，描述参与其中的政治代理人，并讨论其可能的影响。阅读这些文章的语言模型可能会回忆起它从预训练中获得的关于这些代理人、他们的关系和政治基本原则的知识，从而对未来的政治事件进行推理。

类似的情况出现在商业、对话、金融等领域。

在本文中，我们提出了LAMP，这是一个在事件预测中集成了大型语言模型的框架。我们的框架概述如图1所示。

给出历史事件，我们使用预先训练（pretrained model）的事件序列模型来提出对未来事件的预测，然后在LLM的帮助下对其进行检查。LLM学习执行溯因推理：它由一些专家注释的演示指导，并生成可能的原因，这些原因可以解释每个提案可能发生的情况。（it is instructed by a few expert-annotated demonstrations, and generates possible causes that may
explain the possible occurrence of each proposal.）每个生成的原因都用作查询，以搜索实际发生的类似或相关事件。然后，另一个神经模型学习嵌入这些检索结果，并检查它们是否真的能证明相应的建议是合理的。

图片解释：给出(s, ?, o, t)，预测关系。LLM生成可能的三元组对，再检索历史事件四元组，找到最相关的。在LLM生成的所有四元组中，结合评分函数和历史检索结果给出最合适的关系预测。

据我们所知，我们是第一个将大型语言模型集成到事件序列建模中的人。我们的建模和预测框架是通用的：它可以包含各种事件序列模型和大型语言模型。我们对一系列模型选择进行了实验，并证明大型语言模型确实有助于提高事件序列模型的预测性能。在几个具有挑战性的真实世界数据集上，我们的框架显著优于当前最先进的事件序列模型。

2