小白科研笔记：简析图神经网络收敛性的理论证明

1. 前言

这篇博客主要简析一篇ICLR2020的论文What Graph Neural Network Cannot Learn: Depth vs Width。这篇论文是很有理论深度的。不过这篇博客只是一个导读哈。想借研究这篇论文的时间，打一打图神经网络的理论基础。因为我比较关心图神经网络在点云处理方面的研究，所以对文章的讨论我会以点云处理来举例子。有关图神经网络处理点云的论文可以参考我之前的几篇博客。

2. 图神经网络结构

首先解释一些符号。图神经网络的输入是图类数据。图可以表示为$G=(V,E)$。$n=|V|$表示图中节点的个数。在图$G$中，使用$v_i$表示第$i$个节点。$V$就是所有节点的集合。在点云中，$v_i$就可以理解为第$i$个点的三维坐标。记$e_{i\leftarrow j}$表示从$v_j$到$v_i$的边。如果$e_{i\leftarrow j}\in E$，说明这条边是存在的，此外$e_{j\leftarrow i}\in E$，即一般讨论的图都是双向的。对于$v_i$来说，$de{g}_i$表示该节点的度，即该节点边的个数。$\Delta$记为图$G$中$\max (de{g}_i),\forall v_i\in V$。为了更好的理解图这个数据结构，可以看看这篇归纳笔记。记$a_i$表示第$i$个节点的特征（比如颜色，法线，雷达强度等）。在一堆点云中，边是怎样建立的呢？直觉是目标点的特征跟他近邻点的特征相关，所以对于点云来说，边是根据近邻关系建立。具体建立方式有几种，一是KNN建立，二是在规定半径范围内建立，三是启发式采样建立（比如最远点采样）。

在这篇论文中，作者用${\text{GNN}}_{mp}^n$表示图神经网络的运算过程。$\text{GNN}$就是Graph Neural Network缩写。$mp$含义是message passing，译为中文就是消息传播。在图神经网络中，目标节点的特征是根据它邻近节点的特征计算而来。举个不恰当的例子，三人成虎。把皇上当作一个节点。他的三位大臣当作邻近节点。三个大臣对皇上说集市有老虎，那么皇上就真相信了集市有老虎。这就是消息传播的过程。${\text{GNN}}_{mp}^n$中的$n$表示图神经网络计算的结果是每个节点都会获得一个特征向量。论文中也提及了${\text{GNN}}_{}$