akachanmama的博客

Datawhale GNN 组队学习总结 此次组队学习是关于图神经网络实战的学习： 在话题一，我们学习了基本的图论知识、常规的图预测任务和PyG库的安装与使用； 在话题二，我们学习了实现图神经网络的通用范式并实践了图神经网络的构建； 在话题三，我们以GCN和GAT（两个最为经典的图神经网络）为例，学习了基于图神经网络的节点表征学习的一般过程，实践了基于PyG的数据全部存于内存的数据集类的构造，并且实践了基于节点表征学习的图节点预测任务和边预测任务； 在话题四，我们学习并实践了应对在超大图上进行节点表征学习

超大规模数据集类的创建 在一些应用场景中，数据集规模超级大，我们很难有足够大的内存完全存下所有数据。因此需要一个按需加载样本到内存的数据集类。 Dataset基类简介 在PyG中，我们通过继承torch_geometric.data.Dataset基类来自定义一个按需加载样本到内存的数据集类。此基类与Torchvision的Dataset类的概念密切相关，这与第6节中介绍的torch_geometric.data.InMemoryDataset基类是一样的。 继承torch_geometric.data.I

基于图神经网络的图表征学习方法 概述 GNN目前主流的做法是递归迭代聚合一阶邻域表征来更新节点表征，如[[GCN]]和 [[GraphSAGE]]，但这些方法大多是经验主义，缺乏理论去理解GNN到底做了什么，还有什么改进空间。 How Powerful are Graph Neural Networks? 本文基于Weisfeiler-Lehman(WL) test 视角理论分析了GNN，包括： 分析了GNN做了什么？ 在什么条件下GNN可以和WL test 一样强大？ 提出了满足上述一个简单的GNN框架

超大图上的节点表征学习 超大图训练存在的问题 普通的基于SGD的图神经网络的训练方法，随着图神经网络层数增加，计算成本呈指数增长 保存整个图的信息和每一层每个节点的表征到内存（显存）而消耗巨大内存（显存）空间 论文Cluster-GCN: An Efficient Algorithm for Training Deep and Large Graph Convolutional Network提出了一种新的图神经网络的训练方法。 搜索了一下，另外还有一篇Simple and Deep Graph Con

基于图神经网络的节点表征学习 经典论文笔记（GCN MoNet ChebNet GraphSAGE) Semi-Supervised Classification with Graph Convolutional Networks(GCN) 这篇文章提出了一种图卷积网络（GCN），该网络可以直接用于处理图结构数据。从本质上讲，GCN 是谱图卷积（spectral graph convolution） 的局部一阶近似（localized first-order approximation）。GCN的另一个

消息传递范式介绍 下方图片展示了基于消息传递范式的聚合邻接节点信息来更新中心节点信息的过程： 图中黄色方框部分展示的是一次邻居节点信息传递到中心节点的过程：B节点的邻接节点（A,C）的信息经过变换后聚合到B节点，接着B节点信息与邻居节点聚合信息一起经过变换得到B节点的新的节点信息。同时，分别如红色和绿色方框部分所示，遵循同样的过程，C、D节点的信息也被更新。实际上，同样的过程在所有节点上都进行了一遍，所有节点的信息都更新了一遍。 这样的“邻居节点信息传递到中心节点的过程”会进行多次。如图中蓝色方框部分所示

@[Datawhale GNN组队学习——Task02] 推荐系统中的图结构数据 推荐系统中的涉及到的对象（user、item、feature等）大多数显式或隐式连接，构成天然的图并互相影响。基于图的推荐系统（GLRS）考虑到对象间的复杂关系，不仅可以丰富对象表示，还可以借助图推理提升推荐系统的可解释性。 如何考虑不同的图结构的信息，为推荐系统带来了不同的挑战： 树状图（item层次图）：item间具有层次关系。同层不同类的相邻item可能具有互补性（配套使用），同类item可能具有替代性（应避免重复推荐