论文《Tree Decomposed Graph Neural Network》笔记

【TDGNN】本文提出了一种树分解方法来解决不同层邻域之间的特征平滑问题，增加了网络层配置的灵活性。通过图扩散过程表征了多跳依赖性（multi-hop dependency），构建了TDGNN模型，该模型可以灵活地结合大感受场的信息，并利用多跳依赖性进行信息聚合。

本文发表在2021年CIKM会议上，作者学校：Vanderbilt University，引用量：59。

CIKM会议简介：全称Conference on Information and Knowledge Management（信息与知识管理国际会议），信息检索和数据挖掘的顶级国际学术会议之一，由美国计算机协会（ACM）主办，CCF B。

查询会议：

• 会伴：https://www.myhuiban.com/

• CCF deadline：https://ccfddl.github.io/

原文和开源代码链接：

• paper原文：https://arxiv.org/abs/2108.11022
• 开源代码：https://github.com/YuWVandy/TDGNN

 

0、核心内容

问题背景：传统的GNNs通过迭代地进行特征传播和转换来学习更好的表示，但这种迭代传播限制了高层邻域信息与低层邻域信息的融合，导致不同层之间特征平滑，尤其在异配性网络上影响性能。

主要贡献：

• 提出了一种树分解方法来解决不同层邻域之间的特征平滑问题，增加了网络层配置的灵活性。
• 通过图扩散过程表征了多跳依赖性（multi-hop dependency），构建了TDGNN模型，该模型可以灵活地结合大感受场的信息，并利用多跳依赖性进行信息聚合。
• 在同配性和异配性网络的多种节点分类设置下，通过广泛的实验验证了TDGNN的优越性能。
• 进行了参数分析，强调了TDGNN防止过平滑和结合浅层特征与深层多跳依赖性的能力。

方法介绍：

• 树分解（Tree Decomposition）：通过分解计算图来避免不同层邻域之间的特征平滑。
• 多跳依赖性（Multi-hop Dependency）：利用图扩散过程来模拟节点间的多跳依赖性。
• TDGNN框架：结合树分解和图扩散，提出了TDGNN模型，该模型有两种变体：TDGNN-s（直接将各层表示相加）和TDGNN-w（为每层分配可学习的权重并自适应地组合节点表示）。

实验：在多个真实世界的数据集上进行了广泛的节点分类实验，包括半监督和全监督设置，证明了TDGNN模型相比现有方法的优越性。

参数分析：通过改变使用的邻域层数和多跳依赖性的长度，分析了这些参数对TDGNN性能的影响。

相关工作：讨论了与TDGNN相关的其他工作，包括解决GNNs中过平滑问题的方法和应用于异配图的方法。

结论与未来工作：论文总结了TDGNN的主要贡献，并提出了未来的研究方向，包括开发节点自适应层聚合机制和利用自监督学习来预训练模型。

 

1、先验知识

① 什么是多跳依赖性（multi-hop dependency）？

多跳依赖性是图神经网络中的一个概念，指的是网络中两个节点通过至少一条长度为特定跳数的简单路径相互连接的关系。在图数据结构中，节点间的直接连接通常表示为一跳依赖（即两个节点通过一条边直接相连）。而多跳依赖则涉及通过多个节点和边间接连接的节点对。

• 一跳依赖：如果两个节点通过一条边直接相连，它们之间存在一跳依赖。
• **多跳依赖：如果两个节点通过至少一条长度大于1的路径相连，它们之间存在多跳依赖。**例如，节点A通过至少一条长度为2的路径（即经过至少一个中间节点）到达节点B，那么它们之间存在二跳依赖。

在本文提到的TDGNN模型中，多跳依赖性是通过图扩散过程来建模的。这个过程考虑了从某个节点到其他所有节点的路径，不仅仅是直接相连的邻居节点，还包括通过更长路径可达的节点。这样做的目的是捕捉节点间的间接关系，这些关系对于理解图中的结构和进行有效的节点表示学习是非常重要的。

在TDGNN中，多跳依赖性通过以下方式形式化：

• 使用图扩散矩阵$A_k$来表示第$k$跳的依赖性，其中矩阵的每个元素$A_{k_{ij}}$衡量了长度为$k$的路径在从节点$i$到节点$j$传播特征时的强度。
• 通过将所有$A^{}$