【论文阅读】Spectral Networks and Deep Locally Connected Networks on Graphs（图的频谱网络和深度局部连接网络）

摘要

CNN在图片和音频的识别任务中表现良好，是充分利用了信号在其域中的局部平移不变性。但由于图是非欧氏空间的数据结构无法进行传统意义上的卷积操作，同时又希望卷积的思想可以应用在图结构上。于是作者基于此提出了两种结构，一种基于域的层次聚类(空域)，另一种基于图拉普拉斯矩阵(频域)。同时作者通过实验证明，对于低维图而言，学习卷积层成为可能因为存在大量与输入大小无关的变量，从而得到了有效的深层结构。

欧氏空间与非欧氏空间

平移不变性：
在欧几里得几何中，平移是一种几何变换，表示把一幅图像或一个空间中的每一个点在相同方向移动相同距离，比如对图像分类任务来说，图像中的目标不管被移动到图片的哪个位置，得到的结果（标签）应该是相同的，这就是卷积神经网络中的平移不变性。平移不变性意味着系统产生完全相同的响应（输出），不管它的输入是如何平移的 。

局部平移不变性：
在CNN中卷积被定义为不同位置的特征检测器，同时存在的池化操作返回局部感受野中最显著的值。两者结合起来提供了CNN的局部平移不变性，通俗来说就是通过卷积+池化的操作以后不管某一特征移动了位置，总可以检测出来输入到下一层中，且全连接层是加权求和计算被CNN激活的特征又可以传导到下一层中。

1 引言

在欧式空间中使用的CNN卷积具有平移不变性，权值共享，局部连接，分层次表达的特点；但是图网络是一种非欧式结构的数据，网络是不规整的关系型数据，所以其不存在平移不变形（每个节点的周围邻居数不固定），导致图网络无法使用传统的CNN。不使用卷积核卷积的话，只能按照全连接网络的方式进行线性映射，这样又将失去权值共享，局部连接，分层次表达这些优势，需要大量的参数。在本文中，作者想办法把传统欧式空间的卷积迁移到图网络中去，作者提出了两个结构，把欧式空间的卷积迁移到了图网络的空间域和频域。

CNN可以利用几种有效的结构减少系统中的参数数量:

1. 固定大小的卷积核在图上进行遍历，在此过程中用卷积+非线性变换的激活函数替代了一般化的线性映射。提高深层次特征提取能力的同时，同一卷积核在一张图上共享权重，大大减少了参数的数量。
2. 由于网格上的结构特点，可以支持紧凑的过滤器，其支持的过滤器通常比输入信号的尺寸小的多。
3. 网格的结构允许多尺度的二元聚类，也就是子采样操作，在CNN中通过步长卷积和池化实现。

图提供了一个自然的框架来概括低维网格结构，并扩展了卷积的概念。本文将讨论在常规网格以外的图形上的深度神经网络的构造。我们提出了两种不同的结构。

第一种结构中，我们展示了一个可以将属性(2)和(3)扩展到一般图的结构，并使用它们来定义“局部”连接和池化层，这需要$O(n)$参数而不是$O(n^2)$，我们称之为空间结构。

在另一种结构中，我们称之为谱结构，它利用了傅里叶域中卷积的性质同时结合了图的拉普拉斯算子从而实现将原域的卷积转换到了傅里叶变换下频域的相乘。

2 空间结构

最直接的概括如何泛化CNN到一般图的要点就是：多尺度、分层、局部感受野（local receptive fields）。

因此，网络将被无向加权图$G=(\Omega ,W)$取代，其中，$\Omega$表示图中所有节点的集合，$size=m$；$W$表示图的邻接矩阵，$shape=（m,m）$,由于是无向图，$W$是一个对称矩阵。$W$中的值$W_{i,j}$表示节点$i，j$之间的边的权重，为非负值;当这两个节点之间没有边的时候，认为权重值为0。

2.1 节点的邻域

在传统的欧式空间中（以图像为例），在卷积时需要设置一定大小的卷积核，如 kernel = (3,3)，就是相当于中心像素点的邻域为周围的8个像素点。

图中的权重决定了局部性的概念。例如，在$W$上定义邻域的一种简单方法是设置大于0的阈值$\delta$并取邻域，公式（1）如下：

N_δ(j)表示$j$的邻域，是一个集合；以$\delta$为阈值划分节点j的邻域，权值大于$\delta$才属于$j$的邻域。

我们可以将注意力限制在由这些邻域给出的具有感受野的稀疏“滤波器”上，以获得局部连接的网络，从而将滤波器层中的参数数量减少到$O(S\cdot n)$，其中$S$是平均邻域大小。

2.2 图的多分辨率分析

由CNN上的操作所启发，作者介绍了一种图上的操作，此操作类比于CNN中池化和下采样（类似于池化）可以减少CNN中feature map的大小。通过这种操作可以在图上进行类似于池化的操作，简单来说就是在图上将多个点映射成一个点层层映射，达到减少图上点的目的。同时得到聚合了多个点且包含更丰富信息的点。这种方法叫做图的多分辨率分析( Multiresolution Analysis on Graphs).作者介绍此方法还是一个开放的研究领域也就是还没有定论，于是作者在此篇文章中将使用一种比较简单的凝聚方法。具体的凝聚过程如下图所示：

2.3 深度局部连接网络

空间结构从图的多尺度聚类开始。

公式（2）如下所示：

在公式（2）中，$k$表示第$k$个尺度，类比传统卷积，意思就是第$k$层卷积层；$\Omega$表示每一层网络的顶点个数，即各层的输入信号${\Omega }_k$，原始的输入信号是${\Omega }_0$；$d_k$表示第$k$层的聚类的类数，用于决定下一次输入特征的维度，即$\Omega </$