码匀的博客

本文是很多异质图神经网络的一个基础方法，文章收录于KDD2017，作者来自于微软研究院。之前很多的图神经网络方法都是基于同质图的，对于异质图来说难以使用，本文提出了metapath2vec和metapath2vec++来对异质图上的网络节点进行节点嵌入，以最大程度的保留网络的结构和语义信息。其主要思想是：基于元路径的随机游走来构建节点的异构邻域，然后利用异构Skip-gram模型来执行节点嵌入。源码在这Heterogeneous首先说一下什么是异质图：在图中有多种不同类型的节点和边即为异质图，即节点

图神经网络包括：图循环神经网络（GRNN)图卷积神经网络（GCN）图自动编码器（GAE）图强化学习（GRL）图对抗（GA）之前的paper阅读主要集中于图卷积神经网络，本篇想通过阅读七篇经典图编码器论文来深入了解这个邻域，本文涉及paper目录如下：文章目录Structural Deep Network EmbeddingVariational Graph Auto-EncodersAdversarially Regularized Graph Autoencoder for Graph

本文收录于KDD2018，作者来自于华盛顿州立大学。

本文收录于ICLR2016，作者来自于多伦多大学，文章比较老了，但是很经典。GGNN是一种基于GRU的经典空域模型，一个基本的感觉就是GNN+Gate。本文GRU非常像，因此在说本文之前，先介绍一下RNN内容：RNN关于RNN、LSTM的知识可以看李宏毅老师的课程，讲的非常好，传送门，这里只简单概括一下。首先介绍一下最简单的RNN模型：上图中的黄色的xxx是我们的输入数据，绿色的可以当做是一个内存块，初始时必须赋一个值，例如000，蓝色的a1a^1a1是将xxx的输出存入内存中的数值，橙色的yy

本文收录于AAAI2019，作者来自于蚂蚁金服，最近看到很多文章都引用了这篇paper，因此来扫盲。看完了这篇文章觉得文章的创新点还是非常足的，想法也很有深度，OK来到正文部分。本文的method基于一个目标：以往的图卷积都基于聚合固定阶数邻域信息来得到节点表示，那么在图中是否存在一条对节点表示最有贡献的路径，通过对多条这种路径上的节点信息进行有选择的聚合来获得最终的节点表示。可以想象成对一个节点的一阶邻域先做一个重要性评估，然后基于这个一阶邻域中重要的节点进行信息的传播。简单概括摘要：作者提出了一种可扩展

本文收录于KDD2019，作者来自国立台湾大学。图卷积网络已经成功地应用于许多基于图数据的应用，然而，但对于大型GCN来说其训练仍然具有挑战性，目前基于SGD的算法要么面临着随GCN层数呈指数增长的高昂计算成本，要么面临着保存整个图形和每个节点的embedding到内存的巨大空间需求。本文作者提出了基于图聚类优化的图卷积神经网络（Cluster-GCN），使得图卷积神经网络计算效率能在时间空间收敛性等多方面得到较大的提升，让很多过去难以训练，难以部署的模型在大规模环境中得以应用。具体来说，Cluster-G

本文收录于CVPR2020，作者来自于德克萨斯农工大学。GCN的性能是不可否认的，但将GCN应用于大图面临着高昂的时间复杂度和空间复杂度，因为计算每个节点的嵌入表示需要递归的从邻居节点那聚合邻居的信息，并且随着层数的增长邻域数量也成倍增长。本文提出了一种新的用于GCN的分层训练框架(L-GCN)，该框架将训练过程中的特征聚合和特征变换分离开来，从而大大降低了时间复杂度和空间复杂度。在后面作者进一步提出了L2L^2L2-GCN，进一步降低了时间复杂度。这篇文章偏向于优化GCN的聚合思想，效果也确实挺惊艳的。源

本文于去年十月份放入Arxiv，作者来自于京东人工智能部，当时作者投的应该是ICLR2021，现在结果已经出来了，应该是没中（这都中不了，太难了），原文在这，文章写得还是很好的，回到正题。当前的GNN通过引入self-attention机制已经取得较好的效果，但目前的注意力机制都只关注两个相连接的节点，没有利用到能提供图结构上下文信息的多跳邻居。因此本文作者提出基于直接多跳注意的图神经网络(DAGN)用于图表示学习，这是一种将多跳邻居信息纳入注意力计算的方法，实现了每一层的远程交互。为了计算同一层中多个节点

本文收录于ICLR2021，作者来自北大。占位！

本文收录于ICML2018，作者应该是来自韩国？日本。因为在ICLR2021年的AdaGCN中偶遇，所以来看看。正在更新，占位

本文收录于ICLR2021，作者来自于美国伊利诺伊大学香槟分校。今年的ICLR越加恐怖了，收录的文章数学功底雄厚，想法新颖，当然文章也越来越难看懂（/(ㄒoㄒ)/~~）。回到正题，GNN其主要设计的目的就是利用节点的特征和图的拓扑来来处理图数据，例如AM-GCN中就是通过自适应学习节点特征和拓扑图之间的关系从而对节点进行分类，前一篇GraLSP则是通过捕获图的结构模式来对节点进行嵌入学习。本文引入了一种新的广义PageRank-GNN架构来解决图的异构性和过平滑问题，该架构自适应的学习GPR权重，从而联合优

本文收录于AAAI2020，作者来自香港科技大学。简单说一下摘要部分：我们都知道，图中具有一些很常见的结构，例如三角结构或者正方形结构，这些结构对分析网络现象非常重要，但是当前的GNN在识别一些常见的结构模式方面还存在较大的缺陷。本文提出了GraLSP模型，这是一种通过随机匿名漫步明确地将局部结构模式合并到邻域聚合中的GNN框架。其核心思想是首先通过随机的匿名漫步来捕获局部图结构，然后这些随机漫步结果被输入到特征聚合中，之后利用各种机制来处理结构特征的影响，包括自适应接受半径、注意力和放大，本文模型在多个数

本文收录于ICLR2019，作者来自于慕尼黑工业大学。这篇文章说的还是GCN的邻域无法扩展的问题，因此作者利用GCN和PageRank之间的关系，推导出一种基于个性化PageRank的改进传播方案，利用这个传播方案构造了一个简单的模型：个性化的神经预测传播(PPNP)及其快速逼近(APPNP)。该模型需要使用较少的训练时间和较少的参数数量，实验表明，该模型的性能提升较为明显。在看这篇文章之前，可以去看一下我写的这篇PageRank介绍INTRODUCTIONGCN的邻域扩展始终是一个问题，在扩展的同时会

本文收录于ICLR2020，作者是吉林大学的杨博老师。我们知道，GCN的本质其实是消息传递神经网络，但是MPNN有着两个基本缺陷限制了其表示图结构信息的能力：丢失邻域中节点的结构信息，以及不能捕获异类图中的长范围依赖关系。为了解决这两个缺陷本文提出了Geom-GCN，其背后的基本思想是图上的聚集可以受益于图下的连续空间。所提出的聚集方案是排列不变的，由节点嵌入、结构邻域和双层聚合三个模块组成。直接看模型：Model这篇文章的框架就是这副图，模型主要包括三个部分，节点嵌入，结构邻域和双层聚合。因此本文的核

本文收录于IJCAL2019，作者来自浙大和悉尼大学。图卷积网络(GCN)最近在分析可表示为图的非网格结构数据方面展示了其潜力，其核心思想是通过卷积将图的局部拓扑编码为中心节点的特征。本文提出了一种新的GCN模型，称为最短路径图注意网络(SPAGAN)。与传统的GCN模型在每一层进行基于节点的关注不同，SPAGAN模型进行基于路径的关注，明确地考虑了在中心节点和它的高阶邻居之间产生最小代价或最短路径的节点序列的影响。因此，与基于节点的GCN方法相比，SPAGAN允许对图结构进行更全面、更完整的探索，并进一步

本文收录于ICML2020，作者不知道哪个机构的。由于GCN本身的平滑性质，当前的GCN模型都局限于浅层模型，本文研究了深度卷积网络的设计与分析问题，在此基础上提出了GCNll模型，GCNll是对普通GCN的扩展，使用的是残差连接和单位映射。作者在理论上证明了本文模型有效的缓解了过平滑问题，最终实验表明该模型有着一定的提升。源码在这Introduction该部分说的主要还是GCN无法解决过平滑的问题，虽然当前提出了一些方法为了解决过平滑问题，例如SGC试图通过在单个神经网络层中应用图卷积矩阵的 kkk

本文收录于ICLR2020，作者来自腾讯人工智能实验室和清华大学。当前GCN的发展两个主要问题是过拟合以及过平滑，过拟合削弱了对小数据集的泛化能力，而过平滑则随着网络深度的增加将输出表示从输入特征中分离出来，这极大的阻碍了模型的训练。本文为了解决上述两个问题提出了DropEdge模型，该模型在每个训练周期随机的从输入图中移除一定数量的边，从而达到提高模型性能的目的。此外，作者还从理论上证明了DropEdge既可以降低过平滑的收敛速度，又可以减少由过平滑引起的信息损失，并且DropEdge可以和许多GNN模型

本文作者来自中科院，文章被收录于IJCAI 2019。当前基于邻域聚集的GCN模型大多数是浅层的，并且缺乏“图池化”机制，这使得模型无法获得足够的全局信息。为了增加感受域，本文提出了一种深层层次图卷积网络（H-GCN），H-GCN首先将结构相似的节点重复聚集到超节点，然后将粗化后的图细化为原始图，以恢复每个节点的表示。该粗化过程不是简单地聚合一跳或两跳的邻域信息，而是扩大了每个节点的接受范围，从而可以捕获更多的全局信息。H-GCN模型在不同的公共基准图数据集上获得了较高的性能提升。源码在此Introduc

本文是发表在KDD2020上的一篇文章，作者是北京邮电大学的王啸老师。现有的GCN往往是简单的聚合结构邻域的特征信息，然而GCN可能不能自适应地学习拓扑结构和节点特征之间的深层关联信息，这一弱点可能会严重阻碍GCN在某些分类任务中的能力。本文的作者提出了一种用于半监督分类的自适应多通道图卷积网络(AM-GCN)，该网络既能保留现有GCN的优点，同时又能大大增强其融合拓扑结构和节点特征的能力，其核心思想是同时从节点特征、拓扑结构和它们的组合中提取特定的和共同的嵌入，并使用注意力机制来学习嵌入的自适应重要性权重

这篇文章是发表在AAAI2021上的，文章的作者是河北工业大学杨亮老师。GCN的精髓就是传播信息，其成功归功于传播引起的拉普拉斯平滑，但是简单的多层GCN堆叠会导致严重的过平滑问题，使得性能急剧下降。本文对特征信息在GCN中的传播提供了一个新颖的解释，不仅给出了超平滑的本质，而且说明了为什么通过扩展GCN可以使其性能提升。并且基于本文提出的图表示学习框架（GRL）提出了一种新的图共轭卷积模型（GCC），GCC采用获取的上一层的残差信息作为下一层的输入，该信息可以表示为上一层的输入和输出之差，大量实验证明了G

本文作者来自清华大学，现有的GNN存在着过平滑、较差的鲁棒性以及当标记节点缺失时弱泛化性等问题，本文提出一个解决此类问题的框架-图随机神经网络（GRAND)。在GRAND中，本文首先设计了一个随机传播策略来实现图数据的扩展。然后作者利用一致性正则化来优化未标记节点在不同数据扩展中的预测一致性。在图基准数据集上的大量实验表明，在半监督节点分类方面，GRAND显著优于最先进的GNN基线。最后，作者展示了GRAND缓解了过度平滑和非鲁棒性的问题，表现出比现有GNN更好的泛化行为。 代码在这。Model下面直接

一句话概括该论文：这篇论文提出了fastGCN，它的主要思想是将图节点解释为某种概率分布下的独立同分布样本，并将损失和每个卷积层写为关于顶点嵌入函数的积分。然后，通过定义样本损失和样本梯度的蒙特卡洛近似对积分进行评估。Introduction：研究背景：尽管17年的GCN获得了比较好的结果，但由于GCN在训练时需要知道图的所有数据，因此是Transductive的，而对于现实世界来说，图中的节点是不断变化的，因此一个Indutive的模型是急需的。并且GCN面临的一个更严峻的挑战是，在批量训练中，跨

一句话概括该论文：这篇论文提出了用注意力机制来获取节点重要性的方式，通过获取的重要性程度，我们可以得到更加合理的节点表示，解决了以往GCN中必须知道全部节点的信息的问题，得到的结论是：通过使用注意力机制我们可以较为完美的知道每个节点的重要程度，通过这个重要程度我们可以有针对的对节点进行处理，增加了节点表达的能力。以往GCN的缺点：这个模型对于同阶的领域上分配给不同的邻居的权重是完全相同的，这一点限制了模型对于空间信息的相关性的捕捉能力。GCN结合邻近节点特征的方式和图的结构息息相关，这局限了训练所的

一句话概括该论文：本文提出的一种GraphSAGE方法，该方法是同时利用节点特征信息和结构信息得到Graph Embedding的映射，相比于之前保存映射结果的方法，该方法是学习一个函数来获得节点嵌入，可扩展性更强，以此解决了以往训练节点嵌入模型时必须知道全部数据且训练出来的表示唯一的短板。Introduction：研究背景：目前已经证明，低维的嵌入向量在很多任务中都有着很好的作用，但是大多数方法都要求在训练过程中，图的所有节点都必须存在，这些训练好的模型无法自然地推广到存在看不见地节点地网络中，也

一句话概括该论文：本文提出了一种空域卷积的方法，它可以看作是强制将一个图结构数据变化为了一个类似规则的数据，从而可以被1D卷积处理。它解决了在谱域卷积上的一些弱点，使直接在空间上卷积成为了可能。谱域卷积回顾：在谱域卷积中，我们的基本思路是：先将空域输入信号和空域卷积核转换到谱域，然后在谱域中相乘，再通过傅里叶反变换转换回空域。图结构中信号的空域和谱域的转换是由图傅里叶变换实现的，其中拉普拉斯特征向量作为经典傅里叶变换中的基函数，拉普拉斯矩阵的特征值作为经典傅里叶变换中的变量的频率。以下是三种经典

一句话概括该论文：这篇论文提出了利用一阶近似的切比雪夫多项式来替代之前的k阶切比雪夫多项式，解决了原本ChebNet中参数过多的问题，进一步优化了卷积核的选择，论文得出的结论是：本文所做的改进是有效的。前言：前面已经说到了，ChebNet的卷积核参数共享机制是同阶共享同一个参数，不同阶参数不共享。这样的共享方式的物理意义是：因为graph通常本身是具有局部平稳性的，也就是随着邻居阶数的增加，顶点间的相关性递减（距离近的领域内相关性强）。那么通过上述共享方式，我们可以比较完美的获得这个结果。研究背景：

把之前看的论文都补一下吧。一句话概括该论文：这篇论文提出了利用切比雪夫多项式来替代SCNN中可学习卷积核的思路，解决了以往图神经网络参数多且局部连接的问题，得出的结论是：通过选择合适的卷积核可以为图上的卷积操作获得较为重大的提升。Introduction：研究背景：CNN这种学习局部静止结构并将其组成多尺度分层模式的能力导致了其在图像、视频以及声音识别任务的突破。初代GCN已经提出了两种方式，在空域和谱域分别进行卷积的操作，但是尽管空域的卷积很容易想象，但它最大的问题就是面临着匹配局部领域的挑战。

这篇文章和前一篇MixHop是属于同一个团队同一个作者的，甚至还是同一个模型？？？找到这篇文章是因为作者将这篇文章的代码直接和MixHop的代码放到一起了，戳这我们直接上模型：文中说的是首先计算归一化邻接矩阵的K幂次，然后分别将每个幂次计算出来的矩阵和特征X送如r个GCN中，之后再将这些得到的特征进行拼接，然后送入全连接层，进行一个softmax分类。其实整个网络的表示也就是这个：ok,我们来看一下MixHop模型：只能说MixHop是这个模型的小小改进和简化吧，个人觉得GAT出来之后混合这些

MixHop: Higher-Order Graph Convolutional Architectures via Sparsified Neighborhood MixingGitHub： github.com/samihaija/mixhop文章目录前言一、Introduction二、Model Architecture三、Experimental Results总结前言单层GCN因为其本身的特性使得其只能使用一阶邻域的特征，尽管通过多层的叠加理论上可以获得较好的特征聚合，但也因此会产生

Spectral Networks and Deep Locally Connected Networks on Graphs一句话概括该论文：这篇论文提出了两种模型（基于空域卷积和基于谱域卷积），解决了以往卷积神经网络无法应用于图上的问题，得出的结论是：CNN向GCN的推广得到的效果还是很不错的，有待于继续优化。Introduction：研究背景：卷积神经网络在规则的网格结构中具有非常好的效果，这是因为在欧式空间使用的CNN具有平移不变性，并且CNN可以通过几种方式来减少参数的数量，例如使用卷

DeepWalk: Online Learning of Social Representations论文作者：B. Perozzi, R. Al-Rfou, and S. Skiena论文来源：KDD, 2014论文链接：https://arxiv.org/abs/1403.6652github链接：https://github.com/phanein/deepwalk文章目录前言一、Word2vec1.Skip-gram2.CBOW二、DeepWalk三、代码演示总结前言这是一篇图表