基于生成式回放的流式图神经网络模型

丨目录：

· 摘要

· 背景

· 方法

·  实验

· 总结与展望

· 参考文献

1. 摘要

近些年来图神经网络模型在图数据的不同任务上取得了很大进展。然而真实世界的图数据往往是以流式形式存在的，已有一些方法对图神经网络模型进行更新，比如说在每个时间片上对全图进行重新训练，但是会导致很高的计算复杂度；而传统在线学习方法则会导致灾难性遗忘的发生，使得模型无法在全图上有无损的效果。在本文中，我们提出了一种在流式场景下高效地训练图神经网络模型的全新框架，通过一个额外的图生成模型来保存完整的历史分布，使得在图不断变化时模型可以同时学习图中出现的新模式并且巩固已有知识。

该项工作由阿里妈妈搜索广告算法团队和北京大学宋国杰副教授课题组合作完成，基于该项工作整理的论文已发表在 KDD 2022，欢迎阅读交流。

论文： Streaming Graph Neural Networks via Generative Replay

链接： https://dl.acm.org/doi/abs/10.1145/3534678.3539336

2. 背景

图是一种在现实世界中是非常重要的数据结构，比如电商网络、社交网络等。为了挖掘真实图数据中的各种信息，图神经网络模型（Graph neural networks，GNNs）在近年来被广泛研究 [1]，它通过聚集邻居信息来得到表示向量，在不同应用场景中都取得了优异效果。但是现有和GNN模型相关的工作主要探讨在静态场景下的学习，即模型在一次训练之后不会再被更新。

然而真实世界的图数据往往是以流式形式存在的，也就是图结构会随时间发生变化，比如在以User、Query、Item构成的电商网络中，每天都有新User和Item加入导致图中不断出现新节点，同时用户每天的点击、购买等行为都是不同的，从而导致图中的连边和边权会不断更新。为了得到实时的节点表示向量，GNN模型进行高效更新是相当有必要的。

图1