Graph Wavelet Neural Network

论文标题

Graph Wavelet Neural Network

论文来源

ICLR 2019, 论文PDF

论文代码

https://github.com/benedekrozemberczki/GraphWaveletNeuralNetwork

1 背景梳理

对于自然界中广泛存在的非欧式拓普数据，即图（Graph），的研究得到了广泛关注，为了有效提取图的特征表达，图神经网络（GNN）等一类优秀的模型被提出，并适用于广泛的应用场景，如社交网络、推荐系统、智慧医疗以及城市规划。谱域卷积网络（SpectralCNN）是图神经网络中的一个典型模型，基于图信号的傅里叶变化，对图信号进行滤波和特征提取。然而 SpectralCNN 存在若干问题，包括：

---

i SpectralCNN 的建模必须基于图拉普拉斯矩阵的特征值分解，然而该运算的时间复杂度是巨大的，降低了该模型的效率和实用性。
ii SpectralCNN 中的傅里叶基向量是稠密的，在大规模图运算中无法通过稀疏矩阵的进行加速，降低了该模型的效率。
iii SpectralCNN 中的傅里叶基向量倾向于表示全局性的信号，不够突出局部化特征，难以得到更清晰有效的表达，降低了该模型的学习效果。

---

为了解决上述问题，本文提出一种基于小波基的图神经网络，成为图小波神经网络（Graph Wavelet Neural Network, GWNN）。【通过把 SpectralCNN 中的傅里叶基转化为小波基，并设计一个高效的特征提取方法】，GWNN可以有效地学习局部化的、稀疏的特征表达，同时提升网络的表达效果和运算效率。

2 论文贡献

1）算法思想

采用小波基向量来替代原始 SpectralCNN 中的傅里叶基，从而基于图信号的小波变换进行模式分析和特征提取。基于小波基GWNN的优势表现在，稀疏高效和特征清晰。

2）网络设计

提出一种创新的图小波神经网络（Graph Wavelet Neural Network, GWNN），采用双层网络结构，每层结构均采用基于小波变换的图信号分析。另外，原理性的GWNN仍具备较大的参数量，从而容易导致巨大的计算开销和guo’ni’h以及设计了一种高效的算法，将特征提取和图卷积进行解耦，提升运算效率。

3）实验效果

在 Cora, Citeseer 和 Pubmed 三个数据集上进行了半监督节点分类任务，经测试，GWNN 均超过一系列优秀的前人工作。对小波基和特征提取进行了细节分析，观测到他们具有充分的稀疏性，验证了本文假设。

3 方法

给定一个含有$N$个节点的图结构以及相应的图信号 $G(\mathcal{V},\mathcal{E},\mathbf{X})$，其中，$\mathbf{X}\in {\mathbb{R}}^{N\times 1}$ 表示该图结构上的一个图信号向量。图拉普拉斯矩阵（Graph Laplacian）度量了图结构的变化和不平滑程度，可以定义为$\mathbf{L}=\mathbf{D}-\mathbf{A}\in {\mathbb{R}}^{N\times N}$，其中$\mathbf{A}$表示图的邻接矩阵，$\mathbf{D}$为度矩阵。$\mathbf{L}$有一个常用的归一化形式： L = I − D − 1 / 2 A D − 1 / 2 \mathcal{L}=\mathbf{I}-\mathbf{D}^{-1/2}\mathbf{A}\mathbf{D}^{-1/2}