智慧的旋风的博客

node2vec参考博客：https://zhuanlan.zhihu.com/p/56542707伪代码def node2vec_walk(G, u, walk_length): walk = [u] for l in range(walk_length): V = get_neighbors(G, walk[-1]) s = alias_sample(V, pi) # 核心的采样策略 walk.append(s) return walk def node2vec(..

Graphormer阅读笔记——chxpaper：https://arxiv.org/abs/2106.05234code：https://github.com/microsoft/Graphormer （main分支）Graphormer主要策略1. Transformer结构主要有Transformer layer组成，每一层包括MHA（多头自注意）和FFN（前馈）模块，并增加了LN。h′(l)=MHA(LN(h(l−1)))+h(l−1)h(l)=FFN(LN(h′(l)))+h′(

Wang Y. Bag of Tricks of Semi-Supervised Classification with Graph Neural Networks[J]. arXiv preprint arXiv:2103.13355, 2021.我在浏览OGB排行榜代码的时候偶然发现了一篇关于GNN的Tricks的文章，作者是DGL Team的大佬，这篇貌似还没有被会议接受，不过已经在Arxiv上preprint出来了。本文改进后的几个模型在几个OGB数据集上的表现都不错。所以就赶快拿过来看看，学.

C&SHuang Q, He H, Singh A, et al. Combining Label Propagation and Simple Models Out-performs Graph Neural Networks[J]. arXiv preprint arXiv:2010.13993, 2020.本文主要提出了一种图上更好更快的技巧 Correct and Smooth (C&S)，以纠正和平滑预测值。搭配这种技巧，很多「不使用图结构」的baseline模型在（直推式

DeeperGCNLi G, Muller M, Thabet A, et al. Deepgcns: Can gcns go as deep as cnns?[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision. 2019: 9267-9276.Li G, Xiong C, Thabet A, et al. Deepergcn: All you need to train deeper gcns[

GCNIIChen M, Wei Z, Huang Z, et al. Simple and deep graph convolutional networks[C]//International Conference on Machine Learning. PMLR, 2020: 1725-1735.本文主要是针对GNN模型的过平滑（over-smooth）问题展开研究与讨论，回顾之前的一些解决方案，并且借鉴ResNet设计了GCNII模型。过平滑问题以及其相关工作其实到现在为止，大部分G

FLAGKong K, Li G, Ding M, et al. Flag: Adversarial data augmentation for graph neural networks[J]. arXiv preprint arXiv:2010.09891, 2020.本文主要是提出了GNN的数据增强方法——FLAG，在增强模型鲁棒性的同时，研究其对模型准确率的影响。我将FLAG方法也运用到了我自己设计的模型当中，在减少标准差的同时也让模型的准确率有了小幅度的提升。此外，FLAG方法使用起来灵

这篇文章是PyG的官方paper，里面提供了很多有价值的信息，在这里进行一下汇总和思考。Fey M, Lenssen J E. Fast graph representation learning with PyTorch Geometric[J]. arXiv preprint arXiv:1903.02428, 2019.PyG主要是利用消息传递框架的思想来「提供API接口」以及「实现高GPU吞吐量」（加速）的。图数据结构G=(X,(I,E)),X∈RN×F,I∈N2×E,E∈RE×DG=

第 4 章 多模混合图神经网络加速架构HyGCN具体的实现那一部分暂时还没看，主要是看了一部分加速架构的设计动机（4.1）、设计理念（4.2）、实验评估（4.5）、结果分析（4.6）、相关工作（4.7），想找一些和PyG相关的内容先看一下，也和之前在PyG上做的实验进行一个对比分析，检验一下之前想的和这里面写的是否一致。Aggregate阶段和Combine阶段的特性分析在第二章中，主要将GNN分为了Aggregate阶段和Combine阶段，一开始感觉有点不太对劲，因为他说的和MPNN中的好像不太一

《Dissecting the Graphcore IPU Architecture via Microbenchmarking》《解密又一个xPU：Graphcore的IPU》

JK-Nets在引文网络上的应用Xu K, Li C, Tian Y, et al. Representation learning on graphs with jumping knowledge networks[J]. arXiv preprint arXiv:1806.03536, 2018.虽然JK-Nets的paper中还讲到了其他的内容（random walk）和数据集（Reddit、PPI），但是我关注的重点还是在引文网络上。关键词：citation network、jumping

主要内容：以体系结构的视角，对图数据处理过程中的存储层次（memory hierarchy）进行「**分析**」和「**优化**」，本次关注的重点是「**分析**」部分。---## Abstract本文的贡献：在单机内存图分析（single-machine in-memory graph analytics）的情况下，分析和优化图处理的存储层次。1. 分析：乱序（OoO）核中的存储级并行（MLP）+ cache层面的重用距离（reuse distance）。2. 优化：提出了DROPLET预取

GraphSAGE模型paper：《Inductive Representation Learning on Large Graphs》。两个比较重要的概念：1. transductive：直推式学习，训练时所有节点（数据）均可见2. inductive：归纳学习，用于测试的节点（数据）在训练时不可见（unseen）。之前的一些模型基本都是transductive的，而本文提出的GraphSAGE模型是inductive的——通过采样+聚合邻居来学习节点嵌入表示，最终的测试是对于3个数据集的

第 2 章 图处理应用加速架构的研究背景与现状主要内容是：图计算典型算法+编程模型图神经网络模型（图计算加速架构+图神经网络加速架构）研究现状2.1 图与其广泛的应用泛泛而谈。2.2 图的特征与存储格式2.2.1 图的特征无结构特性：形状不规则，邻居数量不确定极度稀疏：A是稀疏矩阵幂律度分布：存在极少量度很高的节点，大量节点的度都很低——“名人效应”强群体结构：群体或社区结构2.2.2 图的存储格式...

GNN的理论与发展梳理参考：《深入浅出图神经网络：GNN原理解析》

第9章-基于GNN的图表示学习图表示学习是图学习领域中十分热门的研究课题，而GNN的出现又给图表示学习带来了新的建模方法。9.1 图表示学习图表示学习（graph embedding）又可以称为网络表示学习（network embedding），或者称为网络嵌入，主要目标是将图数据转化成低维稠密的向量化表示，同时确保图数据中的某些性质在向量空间中也能够得到对应。图数据的表示可以是节点层面的、边层面的和全图层面的，其中节点表示学习一直是图表示学习的主要对象。如果能够将图数据表示成包含丰富结构和属性信

第8章-图分类与之前的节点分类不同，图分类任务需要学习到整张图的标签和类别。为了解决这类问题，一般使用层次化池化（Pooling）的操作。8.1 基于全局池化的图分类全局池化的主要思路是设计一个读出（readout）层，对所有节点进行一次性聚合，从而得到图的全局表示，y=Readout({hi(k)∣∀vi∈V})y=Readout(\{h_i^{(k)}|\forall v_i\in V\})y=Readout({hi(k)​∣∀vi​∈V})读出机制可以取sum，mean或max等函数。读

第7章-GNN的变体和框架7.1 GraphSAGEGraphSAGE是对初始GCN模型的改进版本。最最主要的贡献是采用了小批量训练方式（mini-batch）。为了适应小批量的方式，模型对聚合操作也进行了改进和拓展。7.1.1 采样邻居全图的训练方式（full-batch）对大规模的图数据来说并不适用，会使得训练代价很高。GraphSAGE对邻居进行随机采样来控制运算时节点kkk阶子图的数据规模，在此基础上对子图进行随机组合来完成小批量训练。7.1.2 聚合邻居GraphSAGE提出了几种

第6章-GCN的性质GCN指的是利用上一章定义的图卷积层堆叠而成的模型。6.1 GCN与CNN的联系6.2 GCN能够进行端到端学习端到端（end-to-end）学习实现了一种自动化从数据中高效学习的机制。端到端学习能取得良好的效果依赖于基于某个特定问题的定制化网络层的构建。图数据包含两部分信息：属性信息：节点的固有性质结构信息：节点间的关联性质需要对这两部分信息进行端到端的学习。图数据的学习方式1、基于手工特征的方式①用图的统计特征（节点的度等）作为结构信息②concat(

第5章-图信号处理与图卷积神经网络参考书目：《深入浅出图神经网络：GNN原理解析》。图信号处理（GSP）是离信号处理（DSP）理论在图信号领域的应用,其通过傅里叶变换、滤波等信号处理基本概念的迁移，来研究对图信号的压缩、变换、重构等信号处理的基础任务。基于空域的图卷积神经网络（Spatial-based ConvGNN）就是从图信号处理的理论中不断改进衍生出来的，正所谓“基础不牢，地动山摇”，了解和掌握GSP的相关知识就是基本功中的基本功。5.1 矩阵乘法的三种视角1、内积视角（正常）Cij=

GNN+文献阅读的相关资料近期资料有点多，想整理一下，理一理头绪。如有侵权，请告知我撤回。GNN文献及解读《GNN综述——从入门到入门》。《Must-read papers on GNN》（github清华大学）。《图神经网络（Graph Neural Networks，GNN）综述》。《网络表示学习概述》。《深度学习中不得不学的Graph Embedding方法》。…后续再补充GNN数据集《【Python】cora数据集的读取和处理》。这个是自己写的。《【Python】c