2025_NIPS_Pairwise Causality Guided Transformers for Event Sequences

文章总结与翻译

一、主要内容

本文聚焦于将成对因果关系知识融入时间序列事件的Transformer模型，以提升多变量事件序列的预测性能。多变量事件序列广泛应用于社会科学、医疗、金融等领域，但现有深度学习模型较少利用这类因果知识。

文章首先明确了成对因果知识的形式（如“事件Z会增加/减少未来事件Y的发生概率”），随后针对时间序列数据的非独立同分布特性、因果推断中的时间混淆问题，以及如何将类型级因果知识注入实例级动态捕捉的神经网络这两大核心挑战，构建了一套完整的因果推断框架。

该框架通过定义事件序列中的因果对、潜在结果模型、倾向得分，利用逆概率加权解决时间混淆问题，设计了融合因果知识的损失函数（不兼容框架），将因果约束转化为模型训练的正则项。在实验部分，通过4个合成数据集、4个真实世界数据集（医疗、金融、职场、经济）以及LLM生成的事件序列数据集进行验证，结果表明所提的PC-TES模型在对数似然值指标上优于传统马尔可夫模型、 vanilla Transformer等基线模型，且在LLM生成序列场景中验证了无现成事件序列时通过因果知识注入构建有效预测模型的可行性。

二、创新点

1. 首次将成对定性因果知识系统融入Transformer-based事件序列模型：明确了时间序列场景下因果对的定义与形式，解决了类型级因果知识与实例级模型动态的适配问题。
2. 构建时间序列因果推断的理论框架：通过潜在结果模型、倾向得分定义、逆概率加权等手段，解决了时间混淆问题，证明了所提方法能获得无偏的因果效应估计