【点云处理之论文狂读经典版13】—— Adaptive Graph Convolutional Neural Networks

在阅读本篇文章前，应当了解spectral graph convolution network

摘要

• 背景： Graph Convolutional Neural Networks (Graph CNNs)可以看作广义CNNs，能够有效地处理各种graph数据
• 问题： 当前，Graph CNNs中的filters都是建立在固定或是共享的graph结构上，对于实际的数据而言，graph结构在大小和连通性上都不相同
• 方法： 提出一个更具泛化性和灵活性的Graph CNNs，该网络可以将任意的graph结构作为输入。通过这种方式，在训练时为每个graph数据学习任务驱动的自适应graph；为了更高效的学习graph，还提出了一个distance metric learning
• 代码： TensorFlow版本

引言

• 在点云分类任务中，graph的拓扑结构要比点特征更具有信息
• 当前Graph CNNs的瓶颈有以下几点：
  1. graph degree约束
  2. 要求输入都要保持相同的graph结构
  3. 固定的 graph
  4. 无法学习拓扑结构的信息
• 本文提出一种新的spectral graph convolution network，以不同的graph结构原始数据作为输入。给batch中每个单独的样本都分配一个特定的graph Laplacian，客观地描述了其独特的拓扑结构。特定的graph Laplacian 将会导致特定的 spectral filter，根据graph Laplacian独特的graph Laplacian， spectral filter能够结合邻域的特征。
• residual graph 用于发掘更细的结构信息
• a supervised metric learning with Mahalanobis distance能够减少复杂度
• Contributions：
  1. Construct unique graph Laplacian
  2. Learn distance metric for graph update
  3. Feature embedding in convolution
  4. Accept flexible graph inputs

相关工作

本文所参考的方法将 one-hop local kernel 扩展到了 $K$-hop 连接的情况上。根据graph Fourier transform，如果$U$是$L$的graph Fourier basis集合，那么：
$$x_{k+1}=\sigma \left(g_{\theta }\left(L^K\right)x_k\right)=\sigma \left(U{g}_{\theta }\left({\Lambda }^K\right)U^T{x}_k\right).$$
$\mathrm{diag}(\Lambda )$是$L$的frequency components。

方法

SGC-LL

Spectral Graph Convolution layer + Graph Laplacian Learning = SGC-LL

Learning Graph Laplacian

给定一个graph $\mathcal{G}=(V,E)$，其邻接矩阵为$A$，度矩阵为$D$，归一化后的Graph Laplacian matrix $L$表示为：
$$L=I-D^{-1/2}A{D}^{-1/2}$$
$L$表示了节点间的连通性和顶点的度，知道了$L$就意味着知道了$\mathcal{G}$的拓扑结构。

由于$L$是对称正定矩阵，其特征分解后会得到一组完整的特征向量 { u s } s = 0 N − 1 \left\{u_{s}\right\}_{s=0}^{N-1} {us​}s=0N−1​构成的$U$，$N$表示顶点的数量。使用$U$作为graph Fourier basis，Graph Laplacian可以对角化为$L=U\Lambda U^T$。

Graph Fourier 变换被定义为 $\hat{x}=U^{T}x$。由于graph拓扑结构的谱表示为$\Lambda$，那么谱filter $g_{\theta }(\Lambda )$ 会在空间上生成特定的卷积kernel。由平滑的frequency components构成的spectrum将会形成局部的空间kernel。$g_{\theta }(\Lambda )$可以表示为一个多项式：
$$g_{\theta }(\Lambda )=\sum _{k=0}^{K-1}{\theta }_k{\Lambda }^k,$$
这引出了一个$K$-localized kernel，它允许任何一对最短路径距离$d_{\mathcal{G}}<K$的顶点squeeze in。

此外，更远的连接意味着较少的相似性，并将被分配由${\theta }_k$控制的较少的贡献。多项式滤波器平滑了spectrum，而通过${\theta }_k$进行的参数化也强制实现了最终kernel从中心顶点到最远的$K$-hop顶点的圆形权重分布。这就限制了kernel的灵活性。更重要的是，两个顶点之间的相似性本质上是由选定的距离度量和特征域决定的。对于非欧几里得域的数据，欧几里得距离不再被保证是度量相似度的最佳指标。因此，由于图是次优的，所以连通节点之间的相似性可能低于不连通节点之间的相似性。同时也有两个可能的原因：

• Graph是在特征提取和变换前的原始特征域中构造的
• 图的拓扑结构是内在的，它仅仅表示物理连接，例如分子中的化学键

为了打破上述限制，我们提出一种新的spectral filter，对 Laplacian $L$进行参数化。

给定原始的 Laplacian $L$，特征 $X$ 和 参数$\Gamma$，函数$\mathcal{F}(L,X,\Gamma )$输出的是更新后Laplacian $\tilde{L}$的spectrum，那么filter将会变成：
$$g_{\theta }(\Lambda )=\sum _{k=0}^{K-1}(\mathcal{F}(L,X,\Gamma ){)}^k$$
最终，SGC-LL层可以表示为：
$$Y=U{g}_{\theta }(\Lambda )U^{T}X=U\sum _{k=0}^{K-1}(\mathcal{F}(L,X,\Gamma ){)}^k{U}^{T}X.$$
由于是稠密的矩阵乘法$U^{T}X$，所以上式中的复杂度为$\mathcal{O}\left(N^2\right)$。如果$g_{\theta }(\tilde{L})$是通过$\tilde{L}$的多项式函数递归估计的，那么复杂度就会降至$\mathcal{O}(K)$，这是因为Laplacian $\tilde{L}$是稀疏矩阵。我们选择Chebychev展开计算$k$阶多项式$T_k(\tilde{L})X$。

Training Metric for Graph Update

对于graph结构数据，欧式距离已经不是顶点相似度的最好度量，因此本文使用$x_i$ 和 $x_j$间的Generalized Mahalanobis distance作为度量：
$$\mathbb{D}\left(x_i,x_j\right)=\sqrt{{\left(x_i-x_j\right)}^{T}M\left(x_i-x_j\right)}.$$
如果$M=I$，那么上式就会退化成欧式距离。在本文的模型中，半正定矩阵$M=$ $W_d{W}_d^T$，其中$W_d$是SGCLL层的其中一个训练权重。接着，使用该距离计算高斯kernel：
$${\mathbb{G}}_{x_i,x_j}=\exp \left(-\mathbb{D}\left(x_i,x_j\right)/\left(2{\sigma }^2\right)\right).$$
在对$\mathbb{G}$归一化后，得到稠密的邻接矩阵$\hat{A}$。

Re-parameterization on feature transform

在经典CNNs中，卷积层的输出特征是通过所有特征图的相加得到的，这些特征图都是通过不同的filter独立计算得到的。这就意味着新的特征不仅取决于临近顶点，还会收到其他intra-vertex特征的影响。

但是，在graph convolution上，在同一graph上为不同的顶点特征创建和训练单独的拓扑结构是无法解释的。为了构造intra-vertex和inter-vertex 特征的映射，我们在SGC-LL层引入了一个变换矩阵和偏置向量：
$$Y=\left(U{g}_{\theta }(\Lambda )U^{T}X\right)W+b$$
在第$i$层，变换矩阵$W_i\in {\mathbb{R}}^{d_{i-1}\times d_i}$和偏置$b_i\in {\mathbb{R}}^{d_i\times 1}$与度量$M_i$一起训练，其中$d_i$是特征维度。

在SGC-LL层中，需要训练的参数为 { M i , W i , b i } \left\{M_{i}, W_{i}, b_{i}\right\} {Mi​,Wi​,bi​}，学习复杂度为$\mathcal{O}\left(d_i{d}_{i-1}\right)$，不受输入graph大小和度的影响，在下一层SGC-LL中，spectral filter将会嵌入到其他的特征域，该特征域中的度量与其他域不同。

Residual Graph Laplacian

在分子任务中，由于没有关于距离度量的先验知识，度量$M$被随机初始化，所以可能需要很长时间才能收敛。为了加速训练和提高学习图拓扑结构的稳定性，我们提出了一个合理的假设，即最优图Laplacian $\hat{L}$与原始Laplacian $L$之间有着较小的变化：
$$\hat{L}=L+\alpha L_{res}$$
换句话说，就是原始Laplacian $L$已经包含了一定数量的graph结构信息，还有一些次结构信息没有包括进来，其中有无法在intrinsic graph上直接学习的虚拟顶点连接。因此，我们不直接学习$\hat{L}$，而是学习residual graph Laplacian $L_{res}(i)=\mathcal{L}(M_i,X)$。$L_{res}(i)$对于最终graph拓扑结构的影响由$\alpha$控制，SGC-LL具体的操作如算法1所示。

AGCN Network

AGCN Network = SGC-LL layer + graph max pooling layer + graph gather layer

Graph Max Pooling

Graph max pooling在特征间进行。对于graph的第$v$个顶点的特征$x_v$， pooling操作会将第$j$个特征$x_v(j)$，替换为第$j$个特征中最大的那一个，这些特征包括相邻顶点和自身。如果$N(v)$是$v$的一组相邻相邻顶点，那么在顶点$v$处的新特征为：
x ^ v ( j ) = max ⁡ ( { x v ( j ) , x i ( j ) , ∀ i ∈ N ( v ) } ) \hat{x}_{v}(j)=\max \left(\left\{x_{v}(j), x_{i}(j), \forall i \in N(v)\right\}\right) x^v​(j)=max({xv​(j),xi​(j),∀i∈N(v)})

Graph Gather

在graph gather层，将所有的顶点特征向量进行相加，作为graph数据的表示。Gather layer的输出被向量用于预测。若不使用graph gather层，那么网络可以被用于顶点的预测任务。以顶点为单位的预测包括graph补全和社交媒体上的预测。

Bilateral Filter

Bilateral filter layer的作用是用于防止过拟合，residual graph Laplacian肯定会适应模型以更好地拟合训练任务，但存在过拟合的风险。为了避免过拟合现象，我们引入修改后的bilateral filtering layer，通过增大$L$的空间局部性来对SGC-LL的激活结果进行正则化。除了这些，还用了Batch normalization。

Network Configuration

layer combo = one SGC-LL layer + one batch normalization layer + one graph max pooling layer

在经过一个combo layer后，batch中的graph结构得到更新，同时grap大小保持不变。

Batch Training of Diverse Graphs

在graph结构数据上进行卷积时最大的挑战就是难以匹配训练样本不同的局部拓扑结构。

本文中的SGC-LL layer训练单独的Laplacian，保留了数据结构的所有的局部拓扑结构。我们发现，在构造graph结构时，feature space 和 distance metrics非常重要，SGC-LL layer仅仅需要batch中所有的样本都共享相同的特征变换矩阵和distance metrics。在训练前，需要构造初始的graph Laplacians并根据这些初始Laplacians更新kernel，这就需要额外的内存，但是这是可以接受的，因为graph Laplacians通常都是稀疏的。