qq_36618444的博客

无环有向图的图神经网络

本篇文章可以看做是之前写过的博客Position-aware Graph Neural Networks，ICML2019 中P-GNN的改进，有兴趣的小伙伴可以点击传送门去看哈。Introduction从直觉来说，GNN中，两个距离非常远但位于相似区域的节点应该映射到相似嵌入，但是基于同质性假设的GNN并不能很好地做到这一点。因此，为了引入全局的节点位置信息，在P-GNN的基础上提出GRAPHREACH，具体来说就是通过对一组锚节点（anchor nodes）的可达性估计来捕获节点的全局位置。换句话.

Abstract本文关注于GNN的自蒸馏框架。对于蒸馏学习，主要是将较为复杂的teacher模型中蕴含的知识迁移到不那么复杂的student模型中，这种蒸馏pipeline通常需要两个步骤:第一，对一个相对重的模型进行预训练，第二，将教师模型的正向预测转换到学生模型。知识蒸馏在NLP（尤其是预训练模型）中已经有了较为广泛的应用。然而，由于图神经网络的特殊性，teacher模型如果是一个较深的GNN，就会遭受过平滑，并且对于不同的数据集，如何寻找最优的teacher模型的结构也是具备挑战的。因此，本文提.

本篇是ICLR2021 under review的论文，个人感觉想法还是挺好的，不过应该是没中。本文提出，GNN会得到一个混合了图结构和节点属性信息的单一表示。然而，这两种信息可能在语义上不一致，并且可能对不同的任务有用。本文的目标是学习节点/图表示与结构-属性解缠(GraphSAD)，并进一步设计了一个度量来量化这种解缠的程度。在多个数据集上的大量实验表明，我们的方法确实可以分解图结构和节点属性的语义，并且在节点和图分类任务上都取得了优异的性能。具体来说，GraphSAD将一个图分离为一个结构和一个属

来自ICLR2021。写之前说点题外话，最近做实验、写论文、赶项目，论文博客也荒废已久，一些灵光一现的想法没来得及落实便已经倏忽远逝，不得不让人感慨时间管理的重要性。本篇依旧是忙里偷闲写下的（写到这还是得去改一个项目相关的文件了）。有时候觉得做项目真是带不来任何喜悦，远不如读一篇论文看一段代码来得实在（当然给钱的项目另说，哈哈哈）。但是可能在不那么好的学校读博就是会面临这样的问题，需要自己给出一个调和，谁叫当初胸无大志苟求偏安呢。好了，进入正题吧。本文提出了一种自监督图注意网络(SuperGAT)，它.

现有的图神经网络的表达能力上限不能突破1-WL test，因此不能预测节点聚类系数和最短路径距离，不能区分不同的d-正则图（各个节点的度相同的无向简单图）。本文提出ID-GNN通过在消息传递过程中归纳地考虑节点的身份来扩展现有的GNN体系结构。为了嵌入一个给定的节点，IDGNN首先提取以该节点为中心的自我网络，然后进行多次异构消息传递，中心节点与自我网络中其他周围节点应用不同的参数集。此外，进一步提出了一个简化但更快的ID-GNN版本，它将节点标识信息作为增强节点特征注入。实验表明，将现有gnn转换为ID.

本文算是对之前的模型Deep Graph Infomax（DGI）的一个改进，DGI主要作用于自监督的节点分类，使用最大化局部节点嵌入和全局摘要之间的互信息的方式在许多下游任务(如节点分类)上显示出了很好的结果。然而，DGI有两个主要的限制。首先，DGI只考虑外部监督信号(即节点嵌入与全局总结之间的互信息)而忽略了内在信号(即节点嵌入与节点属性之间的相互依赖)。其次，现实网络中的节点通常由多条关系不同的边连接，而DGI并没有充分挖掘节点之间的各种关系。因此本文提出了HDMI模型，主要的贡献为：本文提出.

又是北邮石川老师团队的论文（实名羡慕了，这次WWW中了5篇论文）本文提出了一个知识蒸馏的策略，旨在充分利用数据中有价值的先验知识。所提出的框架提取任意学习的GNN模型(教师模型)的知识，并将其注入到设计良好的学生模型中，学生模型采用标签传播和特征转换两种简单的预测机制，分别自然地保留了基于结构的先验知识和基于特征的先验知识。具体来说，我们将学生模型设计为参数化标签传播和特征转换模块的可训练组合。因此，被学生模型既可以受益于先验知识，也可以受益于GNN教师的知识，从而获得更有效的预测。此外，学习的学生模型.

解耦的GCN的工作机制还没有被很好地理解，尽管它是有效的。在这篇论文中，从一个新的和基本的角度探讨了半监督节点分类的解耦GCN。我们进行了深入的理论分析，证明解耦后的GCN本质上与两步标签传播相同：首先，将已知标签沿图传播，对未标记的节点生成伪标签；其次，在增强的伪标签数据上训练正规的神经网络分类器。我们揭示了解耦的GCN的有效性：超越传统的标签传播，它可以自动分配结构和模型感知权值给伪标签数据。这解释了为什么解耦后的GCN对结构噪声和过平滑具有较强的鲁棒性，但对标签噪声和模型初始化敏感。在此基础上，我们.

本文证明了集中常见的GNN变体（GCN，PPNP，JKNet，DAGNN）的传播机制实际上是在具有图正则化项的广泛图核上优化特征拟合函数的最优解（这句话看起来十分玄乎，一会再具体看），并对这些GNN提供了一个统一的表示框架。在对这些GNN的总结的基础上开发了两个新的目标函数，考虑可调节图核（也就是提出两种新的带参数的传播方式）分别具备低通或高通滤波能力。此外，本文还提供了所提模型的收敛性证明和表达能力的比较。在基准数据集上的大量实验表明，所提出的gnn不仅优于现有的方法，而且具有较好的缓解过平滑的能力。.

本篇略读，一些定理证明可以参考原文，毕竟34页从头到尾读一遍可得脱层皮。INTRODUCTION尽管图神经网络已经在节点分类或是图分类任务中得到了广泛的研究，但是迄今为止很少有方法可以将图结构的输入转换为图结构的输出。因为在图上进行时间序列预测需要图结构的输出，特别是时间序列中的下一个图。本文基于edit distances（描述两个图之间的任何变化）的概念，提出了graph edit network (GEN)。开发了一个通用的训练和推理方案，仅使用局部binary编辑决策（这个很玄乎的名词看后文.

本文提出了一个称为Node2Seq的框架，以学习节点嵌入与明确可训练的权值为不同的邻近节点。对于目标节点，我们的方法通过注意机制对其邻近节点进行排序，然后使用1D卷积神经网络(CNNs)使信息聚集的权重显式。最近很少看到这种比较原始的空间方法了，换个口味也不错。Method将传统cnn应用于图形数据有两个主要挑战;即不同节点之间没有排序信息，不同节点相邻节点的个数不同。为了解决这些问题，我们提出的Node2Seq层首先通过注意机制学习对邻近节点进行排序，对于给定的节点iii，其邻近节点被注意到该节点，.

北邮石川老师团队的论文，又是有关异构图的。本文指出，异构图在现实中不可避免地是有噪声的或不完整的，因此，对于hgnn来说，学习异构图结构而不是仅仅依赖原始图结构是至关重要的。本文首次尝试学习最优的异构图结构用于hgnn，提出了一个新的框架HGSL，该框架将异构图结构学习和GNN参数学习联合起来进行分类，在每个生成的关系子图中，HGSL不仅通过生成特征相似图来考虑特征相似性，还通过生成特征传播图和语义图来考虑特征和语义之间复杂的异构交互。然后，将这些图融合成一个学习过的异构图，并与GNN一起朝着分类目标进.

其实本文就是与ICLR19年发表的一篇论文Manifold Mixup做了一个结合，利用Manifold Mixup提出了一种基于半监督节点分类的图神经网络正则化方法，通过参数共享和基于插值的正则化，与图神经网络共同训练全连接网络。最主要的难点在于从理论上分析了GraphMix如何改进底层图神经网络的泛化边界，而没有对图神经网络的聚合层数或深度做任何假设。本文的方法也可以与一些基线模型相结合，比如GCN，GAT，Graph-U-Net等。为了简化我们暂时不看大量的公式证明，直接看Mixup数据增强的思想如.

在样本不均衡的任务中，对少数的样本过采样或是生成新样本都能够解决样本不均问题，但是派过采样算法不能为新合成的样本提供关系信息，而这对于图的学习是至关重要的。此外，节点属性是高维的。直接在原始输入域中进行过采样会产生域外样本，影响分类器的准确性。为此，我们提出了一个新的框架，GraphSMOTE，在其中构造一个嵌入空间来编码节点之间的相似性。新样本在这个空间合成，以确保真实性。此外，同时训练一个边缘生成器来建模关系信息，并为这些新样本提供边。这个框架是通用的，可以很容易地扩展到不同的变体中。INTRODU.

本文证实了GNNs的聚集过程往往会破坏原始特征空间中的节点相似性，因此提出了SimP-GCN框架在利用图结构的同时能够有效地保持节点相似性。具体来说，为了平衡图结构和节点特征的信息，提出了一种自适应集成图结构和节点特征的特征相似性保持聚合。此外，使用自监督学习明确捕获节点之间的复杂特征相似性和不相似性关系（添加了正则化项）。我们在7个基准数据集上验证了SimP-GCN的有效性，包括3个同分类图和4个非同分类图。结果表明，SimP-GCN优于代表性基线。INTRODUCTION通过实证研究，本文证明:(.

提出一种参数化的拓扑去噪网络PTDNet，通过学习删除与任务无关的边缘来提高GNNs的鲁棒性和泛化性能。对于删除/增加边而提升网络性能操作，已经有很多了。PTDNet通过参数化网络惩罚稀疏图中与任务无关的边的数量来修剪。考虑到整个图的拓扑结构，采用核范数正则化对生成的稀疏图施加低秩约束，从而得到更好的泛化（换成简单的话就是，可以通过添加正则化项提升准确率）。PTDNet可以作为GNN模型的关键组件，提高其在各种任务上的性能，如节点分类和链路预测（换句话说就是可以与基线GNN模型结合）。对合成数据集和基准数.

文章目录GBDT提升树Method实验如题目所写，本文将梯度提升决策树gradient boosted decisiontrees (GBDT)与GNN结合起来，构建了一个端到端的模型，应用于tabular数据。GBDT论文里指出，梯度提升的核心思想是通过迭代添加弱模型(通常是决策树)来构建强模型。形式上，在梯度增强算法的每一次迭代ttt中，模型f(x)f(x)f(x)都以加性的方式更新:其中ft−1f^{t-1}ft−1是在之前的迭代中构建的模型，hth^tht代表弱学习器，ϵ\epsilo.

文章目录IntroductionPRELIMINARIESGPR-GNNSTHEORETICAL PROPERTIES OF GPR-GNNS定理4.1定理4.2实验Introduction引入一种新的广义PageRank (GPR) GNN架构来解决异构性与过平滑问题，该架构自适应地学习GPR权值，从而联合优化节点特征和拓扑信息提取，而不管节点标签的同质性或异质性的程度。本文模型的架构与上一篇读过的论文差不多，但是给出了大量的理论证明，对于研究GNN原理的小伙伴有很大的启发（也注定了我写这篇博客得花.

目录AdaboostADAGCNCOMPARISON WITH EXISTING METHODSEXPERIMENTS本文在GCN中首次引入了AdaBoost方法，提出了AdaGCN模型。与其他直接堆叠多个图卷积层的图神经网络不同，AdaGCN在所有层之间共享相同的基神经网络架构，并进行递归优化，类似于RNN。此外，还从理论上建立了AdaGCN与现有图卷积方法之间的联系，展示了本的方案的优点。本文认为构建深度图模型的一个关键方向在于对来自不同邻域的信息进行高效的探索和有效的组合，单纯的多次聚合会导致深.