图神经网络(GNN)是一类专门针对图结构数据的神经网络模型,在社交网络分析、知识图谱等领域中取得了不错的效果。近来,相关研究人员在GNN的可解释性、架构搜索、对比学习等方面做了很多探究。
本周精选了10篇GNN领域的优秀论文,来自来自复旦、UCLA、北邮、北大等机构。
为了方便大家阅读,只列出了论文标题、作者、AI华同学综述等信息,如果感兴趣可复制网页链接查看,PC端数据同步(收藏即可在PC端查看),每日新论文也可登录小程序查看。
1.Triple Structural Information Modeling for Accurate, Explainable and Interactive Recommendation 论文详情页
作者:Jiahao Liu,Dongsheng Li,Hansu Gu,Tun Lu,Peng Zhang,Li Shang,Ning Gu
链接:https://www.aminer.cn/pub/644744fb71ac66d2cbf9b5b1/
AI综述(大模型驱动):本文提出了一种新的三重结构信息建模方法TriSIM4Rec,用于在动态交互图中进行准确、可解释性和互动的推荐。该方法包括1)一个动态理想低通图过滤器来有效地捕捉用户物品相互作用的动态共现信息;2)一个无参数注意力块来有效地捕捉用户物品相互作用的顺序信息;3)一个项目转换矩阵以存储单个项目之间的转换概率。通过分析基于 SVD和最近兴起的基于图信号处理的协同过滤方法之间的关系,我们发现其本质是理想的低通图过滤器,因此TriSIM4Rec的兴趣向量空间可以扩展到实现解释和互动推荐,使用户能够主动突破信息茧房。
2.Bi-Level Attention Graph Neural Networks 论文详情页
作者:Roshni G. Iyer,Wei Wang,Yizhou Sun
链接:https://www.aminer.cn/pub/620e48c591e011f318acfe18/
AI综述(大模型驱动):最近具有注意力机制的图神经网络(GNN)历来仅限于小规模同质图(HoG)。本文提出了Bi Level Attention Graph Neural Networks(BA-GNN),一种可扩展的图神经网络,使用一种新颖的双层图注意机制。BA-GNN 以个性化的方式对节点-节点和关系-关系交互进行建模,通过分层地关注来自本地邻域上下文而不是全局图上下文的两种类型的信息。实验结果表明,BA-GNN在所有基准测试中均优于所有基准,并证明了其学习的关系水平注意的质量和转换能力。
3.Hierarchical Contrastive Learning Enhanced Heterogeneous Graph Neural Network 论文详情页
作者:Nian Liu,Xiao Wang,Hui Han,Chuan Shi
链接:https://www.aminer.cn/pub/644744fe71ac66d2cbf9d188/
AI综述(大模型驱动):本文研究了异构图神经网络(HGNN)的自监督学习问题,并提出了一种名为HeCo的新的协同对比学习机制。不同于传统的只关注对比正负样本的对比学习,HeCo采用了跨视图对比机制。通过跨视角比较学习来学习节点嵌入,同时捕获局部和高阶结构,从而提高HeCo的性能。此外,本文还开发了一个名为HeCo++的替代模型,用于进一步探索不同的观点,并提出了一种改进的模型。
4.TGNN: A Joint Semi-supervised Framework for Graph-level Classification 论文详情页
作者:Wei Ju,Xiao Luo,Meng Qu,Yifan Wang,Chong Chen,Minghua Deng,Xian-Sheng Hua,Ming Zhang
链接:https://www.aminer.cn/pub/634d809c90e50fcafd4e764a/
AI综述(大模型驱动):本文研究了半监督图分类,提出了一种名为双图神经网络(TGNN)的框架。该框架具有一个消息传递模块和一个图核模块, 为了充分利用未标记数据,对于每个模块,我们计算每个未标记图与记忆库中其他标记图的相似性,我们的一致性损失鼓励不同嵌入空间中两个相似性分布之间的一致性。这两个孪生模块通过交换实例相似性知识相互协作,以充分探索标记和未标记数据的结构信息。该框架在多个公共数据集上进行了评估,并表明它实现了强大性能。
5.Meta-multigraph Search: Rethinking Meta-structure on Heterogeneous Information Networks 论文详情页
作者:Chao Li,Hao Xu,Kun He
链接:https://www.aminer.cn/pub/644744fb71ac66d2cbf9b62f/
AI综述(大模型驱动):元结构被广泛用于定义在异构信息网络 (HIN) 中聚合信息的邻居子集。本文研究了现有的元结构,包括元路径和元图,并发现它们最初是以固定模式设计的,因此无法对各种丰富的语义信息进行编码。通过回顾这些缺陷,我们定义了一个名为元多重图的新概念,并提出了一种稳定差异可扩展搜索方法,用于自动优化特定HIN和任务的多重图。同时,我们还引入了一种复杂到简洁的(C2C)元多重图, 它沿着元多重图的深度从复杂到简洁传播消息。此外,我们观察到可区分搜索通常会遇到不稳定的搜索以及搜索和评估中的元结构之间的显着差距。 为此,我们提出了一种渐进式搜索算法,通过隐式缩小搜索空间来提高搜索稳定性并减少不一致性。
6.Generative Flow Networks for Precise Reward-Oriented Active Learning on Graphs 论文详情页
作者:Yinchuan Li,Zhigang Li,Wenqian Li,Yunfeng Shao,Yan Zheng,Jianye Hao
链接:https://www.aminer.cn/pub/644744fc71ac66d2cbf9bdb2/
AI综述(大模型驱动):本文创新地将图主动学习问题定义为生成过程,名为GflowGNN,它通过顺序动作生成各种样本,其概率与预定义的奖励函数精确成比例。此外,我们提出了流节点和流特征概念, 以基于生成流网络将图有效地建模为流,其中策略网络使用专门设计的奖励进行训练。实验结果表明,该方法具有良好的探索能力和扩展性,超过了许多先进的方法。
7.Train Your Own GNN Teacher: Graph-Aware Distillation on Textual Graphs 论文详情页
作者:Costas Mavromatis,Vassilis N. Ioannidis,Shen Wang,Da Zheng,Soji Adeshina,Jun Ma,Han Zhao,Christos Faloutsos,George Karypis
链接:https://www.aminer.cn/pub/6445f38f71ac66d2cbc1a563/
AI综述(大模型驱动):本文探讨了如何将图神经网络(GNN)与语言模型(LMs)相结合,在多个节点分类任务中实现有效的节点表示。我们通过开发图感知蒸馏框架 (GRAD) 将图结构编码为 LM 以实现无图、快速推理来应对这一挑战。与传统的知识蒸馏不同,GRAD 通过共享 LM 在图的节点上联合优化 GNN 教师和无图学生。这激励无图的学生利用GNN老师编码的图信息,而GNN老师则能够更好地利用来自无标记节点的信息。实验结果表明,教师和学生模型相互学习以提高总体性能。
8.ID-MixGCL: Identity Mixup for Graph Contrastive Learning 论文详情页
作者:Gehang Zhang,Bowen Yu,Jiangxia Cao,Xinghua Zhang,Tingwen Liu,Chuan Zhou
链接:https://www.aminer.cn/pub/6441ff2ded329dcc6bb7445d/
AI综述(大模型驱动):最近开发的图对比学习 (GCL) 方法比较同一图的两个不同“视图”,以学习节点/图表示。 这些方法的核心假设是,通过图扩充,可以生成几个结构不同但语义相似的图结构,因此,原始和扩充图/节点的身份标签应该相同。 然而,在本文中,我们观察到这个假设并不总是成立,例如,对分子图中节点或边的任何扰动都会在一定程度上改变图标签。因此,我们认为扩充图结构应该伴随着对用于对比损失的标签的适应。基于这个想法,我们提出了 ID-MixGCL,它允许同时调制输入图和相应的身份标签。
9.Improving Graph Neural Networks on Multi-node Tasks with Labeling Tricks 论文详情页
作者:Xiyuan Wang,Pan Li,Muhan Zhang
链接:https://www.aminer.cn/pub/6441ff2ded329dcc6bb74537/
AI综述(大模型驱动):本文提出了一种使用图神经网络(GNNs)进行多节点表示学习的理论,其中我们关注学习一个包含多个节点的节点表示。现有的GNN主要设计用于学习单个节点表示,因此我们提出了这种方法的一个基本缺陷,即难以捕捉节点集中多个节点的依赖性,并认为直接聚类单个节点表示无法生成有效的多节点表示,一个直接的解决方案是将目标节点与其他节点区分开来。
10.AdapterGNN: Efficient Delta Tuning Improves Generalization Ability in Graph Neural Networks 论文详情页
作者:Shengrui Li,Xueting Han,Jing Bai
链接:https://www.aminer.cn/pub/6440ad88ed329dcc6b8384e7/
AI综述(大模型驱动):本文通过对图神经网络(GNN)的增量调整技术进行全面比较,提出了一种名为AdapterGNN的新型增量调整方法。AdapterGNN保留了大规模先验模型的知识,并仅需要少量参数即可有效地适应下游任务,从而提高了模型的推广能力。实验结果表明,AdapterGNN在化学和生物学领域均表现出优异的评估性能,与完全微调相比存在更高的评估性能和更低的泛化差距。