论文阅读：ICLR 2020 图神经网络论文

论文阅读：ICLR 2020 图神经网络论文

  图神经网络已经成为图数据分析领域的经典算法了，各大顶会上相关的论文也层出不穷。但是，这些工作主要关注点都在如何在简单无向图上设计一个更新颖更复杂的模型，而没有从图数据的复杂程度来考虑。
  图数据在现实世界中广泛存在，图神经网络（GNNs）也在相关的机器学习任务中取得了不错的效果，但简单地“将数据给模型、希望其拟合出来可以得到预期结果”的一整套函数在某种程度上是不负责任的。更好地理解GNNs适合与不适合哪些问题可以帮助我们更好地设计相关模型。实际生活中的图往往更加复杂。比如，知识图谱上的有向多关系图。

  总结的思维导图如下：

1.Contrastive Learning of Structured World Models

  Thomas Kipf 的论文《Contrastive Learning of Structured World Models
》论文地址：https://arxiv.org/abs/1911.12247

1.1 问题场景

  学习结构化的世界模型（Structured World Model）。这属于表征学习的一个方向，希望基于raw (pixcl) data 提取出状态的抽象表征，可以表达状态中的各个物体 (object)、及每一个物体的信息 (比如旋转角度)，以及各个物体的相互关系（relation）等概念。

1.2 挑战

  挑战有三方面：

1 ）图像处理本身；
2） 复杂关系、物体信息的处理；
3） 无监督信号

1.3 贡献

1. 新的有效的网络结构设计：使用 CNN + MLP + graph neural network来进行object + relation 的提取；
2. Contrastive 在该方向的首次成功探索；
3. 实验结果不错，不论从物体识别还是转移的提取，模型都表现出令人满意的结果。

1.4 GCN 之后 C-SWMs

  Thomas Kipf 的论文《Semi-Supervised Classification with Graph Convolutional Networks》。而他们这篇新的工作提出了一个叫做 Contrastively-trained Structured World Models（C-SWMs）的模型。从对象、关系和层次结构上对世界的结构化理解是人类认知重要的组成部分。但是，让机器从原始的感官数据中学习结构化的世界模型是非常有挑战性的。所以他们提出了 C-SWMs。该模型利用对比的方法在有组合结构的环境中进行表示学习。文章将每个状态 embedding 为一组对象及其关系的表示，并用图神经网络来建模。他们在包含多个交互对象的组合环境中评估了C-SWMs。

  C-SWM 模型的组成包括一个基于 CNN 的对象提取器，一个基于MLP 的对象编码器，一个基于GNN 的关系转换模型，一个对象分解对比损失。

  论文中提到了世界模型这个概念，如果不能理解世界模型的概念，那么可以参考关于《world model》这篇论文：https://arxiv.org/pdf/1803.10122.pdf

  本文C-SWM 的代码链接：https://github.com/tkipf/c-swm。

2.The Logical Expressiveness of Graph Neural Networks

  论文地址：https://openreview.net/forum?id=r1lZ7AEKvB

  这篇论文是，由常年战斗在图领域的大佬 Pablo Barceló 团队贡献的。图神经网络（GNN）区分图节点的能力最近已经通过用于检查图同构性的Weisfeiler-Lehman（WL）测试进行了表征。但是，这种表征并不能解决哪些布尔节点分类器可以由 GNN 来表示 （即，将图中的节点分类为真或假的函数）的问题。这篇文章专注于研究布尔分类器来解决上述问题。首先研究的是流行的GNNs（文中称为 AC-GNNs） 开始，在该类 GNN 中仅根据邻居的特征，在连续的层中更新图中每个节点的特征。

  GNNs经常被和检测图同构的Weisfeiler-Lehman（WL）算法联系起来，具体地，WL检测通过为图中的每个节点逐步地构造标签，并通过比较两个图中的节点标签来判断二者是否同构，而GNNs通过聚合邻居的特征向量并和本节点的特征向量结合起来的过程与此相似。我们称这种GNNs为aggregate-combine GNNs，即AC-GNNs。研究发现，如果两个节点在WL检测中的标签相同则他们通过AC-GNNs产生的节点向量也是相同的。因为存在AC-GNNs可以产生WL检测的结果，从而AC-GNNs被认为和WL检测一在区分节点方面一样强大。但这并不是说AC-GNNs捕捉到每一种节点分类器的模式，一个简单的反例为这种分类器将所有节点分类为true当且仅当这个图中有孤立节点。

  从而AC-GNNs可以捕捉到怎样的节点分类器呢？以及是否存在一种GNN可以捕捉到AC-GNNs所不可以捕捉到的分类器呢？

  作者在逻辑分类器的层面回答了这些问题，使用FOC2逻辑度量（详见论文）AC-GNNs的表现力，同时，FOC2和WL检测的关系如下：一个图中的两个节点可以被WL测试分到一类当且仅当他们严格满足一个相同的一元FOC2式子。
  从而作者说明：

（1）一种特定种类的FOC2可以被AC-GNNs表达，这种逻辑称为分级模态逻辑；
（2）使用一种非常简单的方式，即允许全局readouts，每一层同时也计算一个整个图的全局特征向量并将其和局部的聚合结合。这种GNNs被称为ACR-GNNs。

  为展现理论上证明的ACR-GNNs的表现力和AC-GNNs与ACR-GNNs的区别，作者选择在合成数据集上进行实验，具体如下：一个展现ACR-GNNs可以学习到而AC-GNNs不能学习到的一个简单的FOC2节点分类器的实验和一个涉及到更加复杂的FOC2分类器去学习更多直接相关的readout函数的实验。

  实验表明，这类 GNN 太弱而无法捕获所有 FOC2（一种一阶逻辑研究） 分类器，并提供了 AC-GNNs 可以捕获的 FOC2 分类器最大子类的语法表征。然后，研究人员研究了，需要在 AC-GNNs 中添加什么来实现捕获所有的 FOC2 分类器，实验表明，添加 readout 就可以了。不仅可以更新节点的邻居，还可以更新全局属性向量。文章称这类 GNNs 为 ACR-GNNs。

3.Geom-GCN: Geometric Graph Convolutional Networks

  论文链接：https://openreview.net/forum?id=S1e2agrFvS

3.1 引言

  图神经网络（Graph Neural Network）已经成为深度学习领域最热⻔的方向之一。作为经典的 Message-passing 模型，图神经网络通常包含两步:从邻居节点收集消息 message，然后利用神经网络来更新节点表示。但是 Message-passing 模型有两个基础性的问题：

1. 丢失了节点与其邻居间的结构信息：

• 主要指拓扑模式相关的信息；
• GNN 的结构捕获能力已经有了相关论文，下图来自 19 ICLR GIN How Powerful are Graph Neural Networks。
  

2. 无法捕获节点之间的⻓距离依赖关系：

• 大多数 MPNNs 仅仅聚合 k 跳内的节点邻居消息来更新节点表示。但是，图上两个节点可能具有相似的结构（社区中心、桥节点），即使他们的距离很远；
• 可能的解法是将现有的 GNN 堆叠多层，但是这可能带来过平滑问题。

  针对上述问题，本文提出了一种 geometric aggregation scheme，其核心思想是：将节点映射为连续空间的一个向量（graph embedding），在隐空间查找邻居并进行聚合。

  本文的主要贡献：

• 提出了一种geometric aggregation scheme，其可以同时在真实图结构/隐空间来聚合信息来克服 MPNNs 两个基础性缺陷；
• 提出了一种基于 geometric aggregation scheme 的图神经网络 Geom-GCN；
• 实验验证了模型的效果。
</