【PaperReading】Motif-Driven Contrastive Learning of Graph Representations

基于Motif的分子图对比学习预训练新模式

通过自监督对比学习的图神经网络（GNN）进行预训练最近引起了很多人的关注。然而大多数现有的工作集中在节点级的对比学习上，这并不能捕获全局图结构。进行子图级对比学习的关键是如何寻找有在语义信息上有意义的子图。为了解决这个问题，本文提出学习图的motif以获得更好的子图采样，这些motif即为经常出现的子图（如分子的官能团）。作者对此提出框架 MICRO-Graph（MotIf-driven Contrastive learning Of Graph representations），该框架可以：使用GNN来从大型图数据集中提取motif；利用学到的motif帮助更具信息子图的采样以进行GNN对比学习。在这个框架下，作者将motif学习表述为一个可微分的聚类问题，并且采用EM聚类法将相似和重要的子图归为motif。在这些事先学习到motif的指引下，采样器被训练来生成信息量更大的子图，这些子图被用来通过图与子图的对比学习来训练GNN。本文使用MICRO-Graph对ogbg-molhiv数据集进行预训练，在各种下游基准数据集上实现了2.04%的ROC-AUC平均性能提升，显著高于其他最先进的自监督学习基线。文中展示了相应代码的demo。