图卷积（7）——过平滑现象（2）

图卷积（7）——过平滑现象（2）

---

空间域图卷积局限性分析：

上一份博客中提到的那篇论文，提出了三个观点。论文中也将其总结一下。

GCNs优势：
   图卷积（拉普拉斯平滑）使分类问题更容易
   多层神经网络具备强大的特征提取功能
GCNs劣势：
   多次拉普拉斯平滑使输出特征过度平滑
   浅层神经网络的感受野、特征提取能力有限
解决方案：
   基于随机游走的协同训练（Co-Training）
   自训练（Self-Training）

基于随机游走的协同训练

定义吸收概率矩阵$P=(L+\alpha \Lambda {)}^{-1}$，其中$P_{i,j}$表示从节点$i$出发，吸收到节点$j$信息的概率，即节点$i$和$j$属于同一类的可能性，然后再计算$p={\sum }_{j\in {\mathcal{S}}_k}{P}_{:,j}$，$S_k$表示第$k$类有标签节点集合，找出$p$中的前若干个样本，将其加入到训练集中，标签便是其在$p$中的列数。

自训练

先计算$Z=GCN(X)\in {\mathbb{R}}^{n\times F}$，对每一类$k$，寻找属于这一类中前若干个样本，将其加入训练集中，标签为$k$

这两种方法的目的都是尽量去扩展训练集，两种方法也可以同时进行。

---

过平滑问题思考

一、过平滑问题是否具有一般性
  目前没有证明其具有一般性。比如GraphSAGE中的采样机制和GATs中的注意力机制都能一定程度上缓解过平滑问题。
二。过平滑问题与其他问题的综合交互
比如梯度消失、过拟合问题
三、如何缓解过平滑问题

1. 深度拓展：高层特征融合底层特征
2. 宽度拓展：全局特征融合局部特征

深度拓展

1. 残差连接
   $$\begin{gathered} Z^{(l+1)}={\hat{D}}^{-\frac{1}{2}}\hat{A}{\hat{D}}^{-\frac{1}{2}}{X}^{(l)}{W}^{(l)} \\ {X}^{} \end{gathered}$$