A Comprehensive Evaluation on Event Reasoning of Large Language Models

本文是LLM系列文章，针对《A Comprehensive Evaluation on Event Reasoning of Large Language Models》的翻译。

摘要

事件推理是许多应用程序的基础能力。它需要事件模式知识来执行全局推理，并需要处理事件间关系和推理范式的多样性。LLM在各种关系和推理范式上完成事件推理的程度仍然未知。为了缓解这种差异，我们全面评估了LLM的事件推理能力。我们引入了一个新的基准EV2来评估EVent推理。EV2由模式和实例两个层次的评估组成，在关系和推理范式方面是全面的。我们在EV2上进行了广泛的实验。我们发现LLMs具有完成事件推理的能力，但他们的表现远不能令人满意。我们还注意到LLMs中事件推理能力的不平衡。此外，LLM具有事件模式知识，然而，在如何利用这些知识方面，它们与人类并不一致。基于这些发现，我们介绍了两种方法来指导LLM利用事件模式知识。这两种方法都实现了改进。代码和数据集可在https://github.com/TZWwww/EV2.

1 引言

2 问题定义

3 基准构建

4 实验

5 结果和发现

6 相关工作

7 结论

本文对LLM的事件推理进行了评估。我们引入了一个新的基准EV2，它具有模式和实例两个级别。它评估事件模式知识和推理能力。此外，EV2可用于综合评估各种关系和推理范式中的事件推理。我们在EV2上进行了广泛的实验。我们