fnoi2014xtx的博客

Paper : Spectral Networks and Deep Locally Connected Networks on GraphsCode :摘要Yann LeCun 组在nips2014发表的有关卷积在图上迁移的理论研究成果，可能是最早的一篇研究Graph Convolution 的文章。在欧式空间中使用的卷积具有平移不变性，权值共享，局部连接，分层次表达的特点，但是图结构是一种非欧式空间中的关系型结构，所以其不存在平移不变性（每个节点的周围邻居数不固定），导致图网络无法使用卷积。作.

Paper : node2vec: Scalable Feature Learning for NetworksCode : official摘要作者在DeepWalk思想的基础上，对RandomWalk算法进行改进，结合了深度优先搜索和广度优先搜索的优点，提出了node2vec的搜索策略，用来定义点的局部邻域。不过在GNN方法出来之后类DeepWalk的方法差不多算是过时了。该篇论文的主要贡献点有以下几点作者提出了node2vec，一种用于网络特征学习的有效可扩展算法，该算法使用SGD有效地.

Paper : Deep Graph KernelsCode :摘要这是另一篇上古时期学习图结构的特征表示文章，在此考古一下并学习这篇文章使用的核方法。作者提出了一种学习图子结构潜在表示的统一框架，DGK框架。 该框架通过利用子结构之间的依赖关系信息，给出图与图之间的相似度定义，通过相似度来定义图结构的潜在表示。作者给出了该框架应用到三种常见的图内核（Graphlet内核，Weisfeiler-Lehman子树内核和最短路径图内核）上的特例情况。核方法衡量结构化对象之间相似性的一种方法是使用内.

DeepWalkPaper : DeepWalk: Online Learning of Social RepresentationsCode :摘要作者提出了一种自监督学习图的点特征表示的方法DeepWalk，使用从截断的随机游走方法中获得的图的局部信息，通过将游走视为句子的等效词来学习潜在表示。DeepWalk作为一种在线学习算法，可建立有效的增量结果，并且可以并行化。事实上DeepWalk已经可以称作是上古的图表示学习的方法了，这篇文章主要是考古用。DeepWalk图的点特征表示学习定

Paper : Predict then Propagate: Graph Neural Networks meet Personalized PageRankCode : official摘要随着GNN网络层数的提高，存在过平滑和参数量过大难以训练的问题。作者探索了GCN与PageRank算法之间的关系，提出了基于Personalized Page Rank 的改进版本的信息传递方式PPNP(Personalized Propagation of Neural Prediction)，以及快速近.

Paper : InfoGraph: Unsupervised and Semi-supervised Graph-Level Representation Learning via Mutual Information MaximizationCode :摘要作者使用 Deep Infomax 的方法来学习网络的图表示，并提出了自监督学习版本的训练方法 InfoGraph 与非监督学习版本的训练方法 InfoGraph* ，两者之间的差别在于 InfoGraph* 损失函数多了一项防止发生 ne.

Paper : Contrastive Learning Of Structured World ModelsCode : official摘要作者在强化学习任务中，提出了使用GNN来建模多物体之间的关系的方法，使用transE的思路来进行状态的预测，并通过Contrastive Loss 来进行训练，提出 C-SWM 模型。作者在雅达利游戏，多物体物理模拟等任务上达到了SOTA。方法C-SWM模型可以对物体与物体之间的关系建边，目的是对每个物体学习到它的特征表示，通过Contrastive .

Paper : FEW-SHOT LEARNING WITH GRAPH NEURAL NETWORKSCode : official摘要作者使用GNN建模少样本学习任务中的消息传递过程，将每个样本看作是图中的节点，少样本学习转化为图中给出部分节点的标签以后进行训练的点分类任务。作者提出的GNN建模方法还可以扩展到半监督学习或主动学习的任务上。问题设定首先给出少样本学习，主动学习和半监督学习的通用描述，考虑输入输出对 (T,Y)(\mathcal T,\mathcal Y)(T,Y)T={{.

Paper : Pre-Training Graph Neural Networks for Generic Structural Feature ExtractionCode :摘要作者想要解决的任务是根据图结构进行预测，通过构造三种与图结构相关的损失函数，作者给出的预训练算法得到的模型参数可以包含从图的局部到全局不同层次的结构信息，...

Paper : GPT-GNN: Generative Pre-Training of Graph Neural NetworksCode : official摘要GPT-GNN引入了自监督的属性图生成任务来预训练GNN，以便捕获图的结构和语义属性。 我们将图生成分为两个部分：属性生成和边生成。通过对两个部分进行建模，GPT-GNN可以在生成过程中捕获节点属性与图结构之间的固有依赖性。生成过程GPT-GNN通过最大化图的似然函数来预训练 GNN，也就是说θ∗=max⁡θp(G;θ)\the.

Paper : GRAPH ISOMORPHISM NETWORKCode :摘要作者使用Weisfeiler-Lehman(WL) test 和同构图判定问题来评估GNN网络的表达能力，并提出了GIN网络结构，理论分析GIN的表达能力优于GraphSAGE GCN等结构，在多任务上准确率达到了SOTA。WL测试与GNN具有相似的信息传递方式，在WL test算法运行的过程中，算法构造了从 multiset 到 representation 的单射函数，因此WL test在图同构问题上具有强表达能.

Paper : STRATEGIES FOR PRE-TRAINING GRAPH NEURAL NETWORKSCode : official摘要作者解决的问题是如何预训练一个GNN网络，保证预训练的结果在具体数据集中finetune不会negative transfer 的现象。作者在文中并没有细致的解释为什么GNN上进行transfer learning 会更难，这个可能需要翻一下该篇文章的引用paper。作者提出了两步的预训练策略，分别在节点层面和图层面进行预训练，保证GNN预训练过程中可.

Paper : Graph Convolutional Networks with EigenPoolingCode :摘要作者提出了EigenPool用来进行图的层次性池化操作，相比于DIFFPOOL，EigenPool 主要解决的是面对层次化聚类过程中，如何将合并成一个超级节点的子图的结构信息保留下来的问题，DIFFPOOL采用的是简单的加和，而EigenPool用子图上的信号在该子图上的图傅里叶变换来代表结构信息与属性信息的整合输出，具有如下几个特点非参数化池化过程硬簇聚类矩阵，减少合.

Paper : Hierarchical Graph Representation Learning with Differentiable PoolingCode :摘要对于Graph Classification 任务来说，GNN的最后一步需要关注图数据的全局信息，既包含图的结构信息，也包含各个节点的属性信息。如果采用一次性全局池化的方法聚合点上的特征表示，并没有将图的结构考虑进去，而且可能在节点重编号后聚合的结果会发生改变，也就是说聚合过程中依赖节点顺序。在CNN模型中，通常采用的做法是通过.

Paper : Graph Attention NetworksCode :摘要注意力机制的核心在于对给定信息进行权重分配，只关注最相关的输入来进行决策。当注意力机制用来生成一个序列的表示时，也被称作是自注意力机制。注意力机制的表示形式如下假定Source是需要系统处理的信息源，Query代表某种条件或者先验信息，Attention Value是给定Query信息的条件下，通过注意力机制从Source中提取得到的信息。一般Source里面包含有多种信息，我们将每种信息通过Key-Value对的.