深度学习：图神经网络笔记

原创已于 2022-02-20 19:43:32 修改 · 266 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#神经网络 #深度学习

于 2022-01-11 14:50:00 首次发布

深度学习专栏收录该内容

180 篇文章

订阅专栏

本文探讨了图神经网络中边和节点信息的嵌入方法及层间传递机制，介绍了复杂情况下的信息交互，如通过池化从边收集信息供节点预测，并讨论了不同组件间的信息汇聚与传递方式。

图神经网络

前言
数据嵌入
- 复杂的情况:缺少对应信息的嵌入
层间传递
输出结果
最终的结构：

提示：文章地址：

前言

本文先讨论了将边，点嵌入为向量(其中全局元素是假设可与所有点和边相连)以及信息的汇聚。然后讨论在MLP的基础上如何进行层间的传递。在文章末尾提到了一些细节。
提示：文章地址：
https://github.com/mli/paper-reading
文章网址地址：https://distill.pub/2021/gnn-intro/

数据嵌入

$对图的数据进行嵌入：\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \$
在这里插入图片描述
$全局信息是假设可以与所有点所有边相连的，可以帮助两个距离很的点交互$

复杂的情况:缺少对应信息的嵌入

$您可能将图中的信息存储在边中，但节点中没有信息，但仍需要对节点进行预测。\\我们需要一种{\color{red}从边缘收集信息并将它}{\color{red}们提供给节点进行预测}的方法。\\我们可以通过“pooling”来做到这一点。池化分两步进行：\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \\ 1.对于要合并的每个项目，收集它们的每个嵌入并将它们连接成一个矩阵。\\ 2.然后聚合收集的嵌入，通常通过求和操作。$
在这里插入图片描述

层间传递

直接传递

$各种嵌入使用 M L P 独自更新 (每一层三个 M L P ，所有顶点，边共享一个 M L P ，全局特征使用一个 M L P) ：$
在这里插入图片描述

顶点1近邻信息交互

$可能感觉这样并没有使用到顶点和顶点之间的相互信息，考虑临街顶点信息汇聚{\tiny （把三个嵌入相加）}再进行更新：$
在这里插入图片描述
用图表示为

边和点信息的互传

在信息嵌入时已经有了边和点信息的互传,我们可以不等到最后一层再做汇聚操作。

在这里插入图片描述
$还有两边同时汇聚的方法：不过这是先汇聚信息 c o n t a c t 起来，然后下一步再加起来$

输出结果

$同样，一个节点如果需要输出，比如2分类，只需要加一个2节点MLP->Softmax就能得到对应的类别（和之前一样，不管有多少个顶点，只有一个全连接层）：\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \$

在这里插入图片描述

最终的结构：

在这里插入图片描述
试一试（作者再网页种用javascript实现了一个模型，可尝试改变数据）

以上模型超参数分析：

x:参数个数，y:AUC

在这里插入图片描述

看层数的影响：可见层数增加AUC是相应增加的，中值逐渐上升，但是结果的方差还是很大的，需要细调其他参数

batchsize: 做batch,单个计算量太小，将小样本做成小批量，对一个大tensor做运算。其他类型的图：文章的后面讨论了其他类型的图：多重图、超图、超节点、分层图采样问题：如果最后一个图一个顶点能看到所有节点的信息，再梯度计算时需要存储所有的节点信息，可以采样减少计算。

感应偏差
在构建模型以解决特定类型数据的问题时，我们希望专门化我们的模型以利用该数据的特征。当这成功完成时，我们通常会看到更好的预测性能、更短的训练时间、更少的参数和更好的泛化能力。
在图像上标记时，我们希望利用狗仍然是狗的事实，无论它位于图像的左上角还是右下角。因此，大多数图像模型使用卷积，它是平移不变的。
对于文本，标记的顺序非常重要，因此循环神经网络按顺序处理数据。此外，一个标记（例如单词“not”）的存在会影响句子其余部分的含义，因此我们需要可以“关注”文本其他部分的组件，例如 BERT 和 GPT 等转换器模型-3 可以。
这些是归纳偏差的一些示例，我们在其中识别数据中的对称性或规律性，并添加利用这些属性的建模组件。

在图的情况下，我们关心每个图组件（边、节点、全局）如何相互关联，因此我们寻找具有关系归纳偏差的模型。模型应保留实体之间的显式关系（邻接矩阵）并保留图对称性（置换不变性）。我们预计实体之间的交互很重要的问题将受益于图结构。具体来说，这意味着在集合上设计转换：节点或边上的操作顺序应该无关紧要，并且操作应该在可变数量的输入上工作。

$不同的采样方法得到一个子图：$
在这里插入图片描述