m0_63860007的博客

文档中句子之间的关系，词之间的关系 都可以被利用。传统的卷积神经网络主要利用的是一个小邻域上的本地信息，对于远程的关系处理起来很难，但是 语义分割的任务上正好大量存在着可能的远程关联。离)建立联系，形成一个图，然后图LSTM(Graph LSTM)的模型对这些超像素构建的图进行建模，从而更好地利用远程的关联性辅助本来的分割任务。整个训练过程以批处理的形式进行，对于每个目标节点，我们对它周围的邻居进行重要性采样，然后经由图中右上角所展示的两层信息聚合(图卷积),得到节点的嵌入表示。

前面介绍过，按照元素和层级来划分，图数据上的任务一般可以分为节点上的任务、边上的任务和图上的任务。而在实际应用中，大部分图神经网络的应用都集中在节点分类、链路预测和图分类上；在设计一个新的图神经网络模型时，我们常使用的标准数据集也都基本来自这三个任务。我们暂时不考虑图数据的具体领域，先来介绍图神经网络在这些标准任务上的使用。1.1节点分类节点分类是图神经网络上最普遍的一个任务。沿用本书惯用的符号，给定一个图G={V,}, 假设已知其中部分节点Vtrain的标签Y∈Rn×8(n。

编码器：结构感知卷积网络采用了带权重的图卷积网络进行编码，不同于图卷积网络，它对每个关系。知识图谱作为一种重要而特殊的图结构，在各个领域有着广泛的应用，知。由于结合了知识图谱嵌入的得分方式，又考虑了不同边的类型，CompGCN 在。的章节中也提到过，它本质上是对图卷积网络模型的一个扩展，在图卷积网络。的基础上加入了边的信息，因此也可以被用来学习知识图谱中的实体嵌入。把知识图谱拆分为多个单关系的同构图，即知识图谱中的每种关系对应一个子。础上增加了带权重的图卷积网络的编码，因此可以加入知识图谱的结构信息和。

例如，对于三元组(姜文， 出演，让子弹飞),“姜文”和“让子弹飞”的类型完全不同，一个是人物， 一个是电影。而在更高维度的空间中，超平面则是一个更高维度的“平面”，它将空间分割成两个部分）随着对知识图谱相关研究的深入，出现了基于不同思路的知识图谱嵌入方法，这些方法定义了不同的嵌入空间或者不同的损失函数。知识图谱的表示学习，或者说知识图谱嵌入，是将实体和关系映射到一个低。传统的知识图谱推理一般只推测已经出现过的实体之间的关系，称之为转。型，几乎涵盖了所有的匹配关系，但是它的参数过多，导致不能有效地处理大。

(3)浅层图嵌入方法只能采用直推式学习，如果它们要学习一个节点的嵌入， 则这个节点必须是在训练过程中出现的，对于未出现过的节点则无能为力。相比之下，图神经网络(如图卷积网络)的参数是用来将节点本身的属性向量映射到一个更低维的向量，与节点的数量无关，只与节点属性向量的维度。(1)浅层图嵌入方法是对图中出现的所有节点直接习得最终的表示，它们的编码器是将每个节点线性映射到最终的嵌入向量f(x)=Zx, 因此参数。(2)浅层图嵌入方法通常只考虑图的结构，而忽略了节点本身的属性。实际上使得图的嵌入尽量光滑。

这个措施使得GraphSAGE 的复杂度可以维持在一个固定的开销，与其他消息传递网络相比，更容易扩展到大规模的图上。PinSAGE基于GraphSAGE做了微小的改进，在采样的时候加入了邻居节点重要性的考虑，通过随机游走，被访问越多次的节点，被采样的概率就越大。在传统的图注意力网络中，没有考虑到边的信息，但。很大),图卷积网络的计算量是很大的，所需要的内存也是很大的。可以看出，上式和图卷积网络的公式非常相似，唯一的区别是根据边的类型r不同，选择了不同的参数W。到，在一个图中，每个节点的重要性是不一样的。

预训练最大的优势是通过输入巨量的数据，使预训练好的模型只需通过微调就能迁移到不同的数据上，并在不同的目标任务上得到巨大的效果提升。找到这个节点周围的上下文图，上下文图指的是到中心节点的距离大于等于r₁、小于等于r₂ 的所有点构成的子图，r₁ 被限制小于K, 所以上下文图可以和节点的邻接域有部分重合，重合的这些节点被称为上下文锚节点。找到上下文图之后，我们定义一个额外的辅助图神经网络，对上下文图进行编码，然后对所有上下文锚节点的嵌入求平均，作为一个节点上下文的向量表示，图G中节点v 的上下文向量记为。

另外，考虑到那些粗化的节点并没有一个有意义的排序，如果直接进行池化，就需要一个额外的表来存取这些节点信息，造成了内存的浪费和低效，也影响平行计算的实现，而切比雪夫网络稍微做了改进，它利用Graclus的机制先把粗化过程做成一个二叉树，然后通过对最终的粗图进行节点排序并进行倒推，得到原图的节点排序，从而实现了一个类似普通卷积网络中的一维池化操作。虽然谱聚类是一个很好的图聚类方法，但是在涉及多粒度、多层的图聚类时依然不够高效，因此在大图和多层池化的场景下， 我们可能需要选择更高效的图池化方法。

图神经网络的滤波性质，我们先来想一个问题：在图信号中，究竟是什么频率的信号起了更大的作用?在得到重构的图信号之后，我们以它为输入，训练一个两层的多层感知机，在图数据上做节点分类任务。D -1/2AD-1/2 xW实际上是一个没有加自环的图卷积网络，在加了自环并做相应的正则化后，D-1/2(A+为了简化分析，假设图论傅里叶变换所用的是正则化后的拉普拉斯矩阵 L=I-D-1/2AD-1/2,那么D-1/2AD-1/2x=(I-L)X=U(I-假设一个图是联通的，并且不是一个二分图，我们对它上面的一个图信号。

当我们要判断两个图是否同构时，先通过聚合节点和它们邻居的标签，再通过散列函数得到节点新的标签，不断重复，直到每个节点的标签稳定不变。Weisfeiler-Lehman 测试最大的特点是其对每个节点的子树的聚合函数采用的是单射的散列函数。与Weisfeiler-Lehman测试一样，在表达网络结构的时候，一个节点的表征会由该节点的父节点的子树信息聚合而成。数据，两层图卷 积网络即可达到很好的效果，叠加更多的层并不一定能提升模型的表现，反而 可能导致过平滑的问题。之后发展出的各种各样的图神经网络大都可以归。

空域图神经网络出现得更早，并在后期更为流行。它们的核心理念是在空域上直接聚合邻接点的信息，非常符合人的直觉。如果把欧几里得空间中的卷积扩展到图上，那么显然这些方法需要解决的一个问题是：如何定义一个可以在不同邻居数目的节点上进行的操作，而且保持类似卷积神经网络的权值共享的特性。早期的图神经网络就是直接从空域(顶点上的信号)的角度来考虑的。它的基础是不动点理论。它的核心算法是通过节点的信息传播达到一个收敛的状态，基于此进行预测(由于它的状态更新方式是循环迭。

在实际应用中，我们通常可以叠加多层图卷积，得到一个图卷积网络。我们以H¹ 表示第L层的节点向量，W¹表示对应层的参数，定义。参数是没办法迁移的，因此谱域图神经网络通常只作用在一个单独的图上，这大大限制了这类模型的跨图学习和泛化能力。接下来，我们从切比雪夫网络的公式(3.12)出发，对图卷积网络进行推导。下面，我们以一个常用的两层图卷积网络来解释图卷积网络是怎么对节点。从图信号分析的角度考虑，我们希望这个过滤函数g 能够有比较好的局部化，常作用在图拉普拉斯矩阵的特征值矩阵上，在换到另一个图上时，这些卷积核。

对于接触过数据结构和算法的读者来说，图并不是一个陌生的概念。如果图里的边不仅表示连接关系，而且具有表示连接强弱的权重，则这个。从图的某个顶点出发，沿着图中的边访问每个顶点且只访问一次，这叫作。在图上模拟一个热扩散的过程，φ(t)是图上每个顶点的热量分布，热量传播。如果一个图的每个边都有一个方向，则称这个图为有向图。图的同构指的是两个图完全等价。很显然，这个大于等于0的，所以L是半正定的。拉普拉斯矩阵的另一个重要作用是作为图上的离散拉普拉斯算子。然地，我们把拉普拉斯算子的特征函数换成拉普拉斯矩阵的特征。

由于图结构的普遍性，将深度学习扩展到图结构上的研究得到了越来越多的关注,图神经网络（GraphNeuralNetworks,GNN）的模型应运而生。实体被叫作图的节点，而实体和实体之间的关系构成了图的边。我们介绍了各种各样的图,很容易发现图的研究是横跨很多不同的领域的，而在很多任务上，研究图的性质都需要具有领域知识。大部分图结构上的边并非只能取值二元的｛0，1｝，因为实体和实体的关系不。当我们任意变换两个节点在图结构中的空间位置时,整个图的结构是不变。(3)图上的任务：包括图的分类、图的生成、图的匹配等。