m0_50976935的博客

相对于Cluster-GCN：Simplified GCN的Mini-batch中的节点是从整个图中进行采样的（各个节点之间的计算没有相互依赖），不需要从子图中进行采样，因此其SGD的方差在训练过程中较小。由于GNN的计算是基于邻居节点的消息汇聚机制的，那么，如果切分后的子图能够最大限度的保留原图的邻域信息，那么切割后子图消息汇聚产生的embedding和原图应该是差不多的。最大的问题是随机采样，因为图中的节点明显有不一样的重要程度，采样到不重要的邻居得到embedding的结果明显不是最优的。

t∉St\notin St∈/S修改攻击节点特征，例如劫持目标节点的邻居1.为攻击节点添加与目标节点的连接。2.去掉攻击节点不相关的边。

这里使用的这个模型和VAE，GAN等模型不一样，VAE，GAN一般有两个部分构成：encoder+Decoder或者generator+discriminator，两个部分分别做数据的表征和生成，这个模型只有一个部分，直接用来做数据的密度估计和采样。主要是生成过程计算量很大，可以看到，每次添加新的点，那么这个点要和其他所有已经存在的点做边RNN预测，但是这个可以优化，因为当前加入的节点并不是和所有节点相连。(这里的data相当于所有的真实数据，是无穷无尽的，没法穷举，因此只能尽量多的采样来推测整体数据)

之前都是图的模型都是已知的：这节开始研究如何用模型生成这样的图：图生成模型问题的研究动机，以前都是假设图是已知的；

Louvain Algorithm是一个贪心算法，时间复杂度为：O(n log n)该算法支持有权图（无权图可以看做边的权重都为1），最后的结果是层次结构的。算法可用于大型网络，原因是：算法快、收敛快。可得到高modularity的输出仅通过节点-社区隶属关系的局部改变来优化modularity。将第一步识别出来的communities聚合为super-nodes，从而得到一个新网络。返回第一阶段，重复直至modularity不可能提升。

对于子图的定义通常有两种，主要看适用的场景例如：化学：节点诱导（官能团）‎‎知识图谱：通常是边缘诱导的（重点是表示逻辑关系的边缘）‎设GQG_QGQ​是一个小图，GTG_TGT​是目标图数据集。GQG_QGQ​在GTG_TGT​GTG_TGT​不同的节点子集VTV_TVT​的数目（VTV_TVT​诱导的GTG_TGT​的子图与GQG_QGQ​同构）图中频率为2图中频率为C1006C_{100}^6C。

上面讲的求交集的操作，下面扩展一下，看求并集的操作。‎连接查询 + 析取（或）：称为存在正一阶 （EPFO） 查询。我们将它们称为 AND-OR 查询‎.

G=(V,E,R,T)，分别代表节点，边，边类型，节点类型。

GNN的表示能力取决于其应用的邻居聚合函数。聚合函数表达能力越强，GNN表达能力越强，单射聚合函数的GNN表达能力最强。这里可以将邻居聚合过程，抽象化，抽象成为一个a function over a multi-set 的问题：具体来说，就是一个作用于带有重复元素的集合的函数。使其应该满足单射的特征。上图表示，邻居聚合过程，可以抽象称为一个a function over a multi-set 的问题。

有监督学习supervise learning：直接给出标签（如一个分子图是药的概率）无监督学习unsupervised learning / self-supervised learning：使用图自身的信号（如链接预测：预测两节点间是否有边）有时这两种情况下的分别比较模糊，在无监督学习任务中也可能有“有监督任务”，如训练GNN以预测节点clustering coefficient。

首先是传统机器学习难以应用在图结构上。回忆一下节点嵌入任务，具体可以参考第三章。其目的在于将节点映射到d维向量，使得在图中相似的节点在向量域中也相似。我们已经学习了 Shallow” Encoding 的方法来进行映射过程，也就是使用一个大矩阵直接储存每个节点的表示向量，通过矩阵与向量乘法来实现嵌入过程。o(∣V∣)【1】归纳式（Inductive）vs 直推式（Transduction）

输入：网页作为图数据输入节点：网页边：网页之间的超链接（有向边：一个页面指向另一个页面）节点特征：网页上的描述（为了简化，我们只考虑二维二元向量）任务：预测网页的主题relational calssification：更新节点归属于基于邻域的标签类的概率iterative classification : 更新节点除了领域标签还添加了节点本身的特征，让分类效果更好了。

用power iteration方法求解 r = G ⋅ r （G是随机邻接矩阵）用random uniform teleporation解决dead-ends和spider-traps问题算法特点例子原始PageRank‎按“重要性"对节点进行排名 以均匀的概率传送到网络中的任何节点‎‎对节点与传送节点 S 的接近程度进行排名‎‎传送回起始节点‎: 𝑺 = {𝑸}​。

衡量向量的相似有很多种方式，主要用到两种：一是点积相似度，二是余弦相似度。感觉上点积相似度应该会更好计算一些。Shallow encoder: 嵌入查找优化参数：Z（包含每个节点对应的node embedding）目标：对于相似点对 (u,v)，最大化其embedding点积有边共享邻居有相似的structural roles随机游走random walk定义的节点相似度节点嵌入：使embedding的向量距离能够反应原网络中的节点相似度衡量节点相似度的指标。

Global neighborhood overlap可以解决local neighborhood overlap上没有共同邻居的问题。Katz index：计算点对之间所有长度路径的条数。（计算方式：邻接矩阵求幂）使用全局图形结构对两个节点进行评分‎Katz 索引对两个节点之间所有长度的paths进行计数。​ 手工制作的功能+ ML模型‎。

图神经网络基本介绍