【图神经网络论文阅读笔记：GCN-1】Spectral Networks and Locally Connected Networks on Graphs

原创

已于 2022-12-25 10:33:07 修改 · 1.1k 阅读

CC 4.0 BY-SA版权

文章标签：

于 2022-12-25 10:30:52 首次发布

本文介绍了一种基于卷积神经网络(CNN)的图神经网络(GCN)构造方法，包括基于空间构造和基于谱构造两种方式。基于空间构造的方式考虑了多尺度、层次化和局部感受野的概念；基于谱构造的方式利用图拉普拉斯算子的谱推广卷积运算符。

【阅读笔记】Spectral Networks and Locally Connected Networks on Graphs

本文是基于CNN（卷积神经网络，convolutional neural network）所构造的GCN。

本文提出两种构造，一种基于域的层次集群（a hierachical clustering of the domain），另一种是基于图拉普拉斯的谱（the spectrum of the graph Laplacian）。

其中后者（GCN-1）是本文的重点

结果显示，对于低维图，可以通过一些参数来学习卷积层，这些参数与输入大小无关。

CNN在机器学习问题中非常成功，在这些问题中，底层数据表示的坐标具有网格（grid）结构（在1、2和3维），并且在这些坐标中要研究的数据具有相对于该网格的平移等变性/不变性（translational equivariance/invariance）。

同时，CNN相比传统的全连接网络（FC）还极大地减少了参数的使用。

然而，对于不具备较好几何结构的数据，传统的CNN不太适用。而图（graph）天然具备较好的表示能力。为了将卷积推广到图上，本文提出两种结构：spatial construction和spectral construction。

CNN 对一般图最直接的泛化是考虑多尺度（multiscale）、层次化（hierarchical）、局部感受野（local receptive field）。

网格（grid）将被带权图 $G=(\Omega ,W)$ 所替代—— $\Omega$ 是大小为 $m$ 的离散集，而 $W$ 是一个 $m\times m$ 的对称矩阵（元素非负）。

将 $\Omega$ 理解为节点集合， $W$ 理解为边矩阵

要在图中泛化局部（locality）的概念，可以通过权重 $W$ 来决定。定义“邻居”（neighborhood）的最直接方式是设定一个门限值 $\delta$ ，则节点 $j$ 的邻居（neighbor）为：
$N_\delta(j)=\{i\in\Omega:W_{ij}>\delta\}$

通过此处“邻居”的概念，之后会定义“社区”（neighborhood）

由于网格具备天然的多尺度集群（multiscale clustering），CNN得以通过池化层和二次采样层（subsampling layer）减少网格的尺度。前人提出了多种在图上形成多尺度集群的方法。

本文使用一种简单的方法。下图说明了具有相应邻域的图的多分辨率集群（multiresolution clustering）：

spatial construction始于对图的多尺度集群。

考虑尺度为 $K$ 。设 $\Omega_0=\Omega$ ，对每个 $k = 1... K$ ，定义：

$\Omega_k$ 为一个分割：将 $\Omega_{k-1}$ 分为 $d_k$ 个集群
$\mathcal{N}_k$ 为 $\Omega_{k-1}$ 中各元素所在的社区： $\mathcal{N}_k=\{\mathcal{N}_{k,i};i=1...d_{k-1}\}$

上图为无向图 $G=(\Omega_0,W)$ 的两级集群。

容易理解错误的是，这里的 $W_{ij}$ 不是“距离”，而是表征两个节点关系紧密与否的“权重”——关系越紧密，权值越大。

e.g. $\Omega_1$ 是将 $\Omega_0=\Omega$