18、图神经网络的收缩映射与计算复杂度分析

图神经网络的收缩映射与计算复杂度分析

1. 收缩映射相关内容

在图神经网络（GNN）中，存在一个重要的性质：对于任意一组参数 $w$，$\frac{\partial F_w}{\partial x} 1 = A_1 \leq \max {u \in N} \sum_{n \in N(u)} A_{n,u} 1 \leq \max {u \in N} \mu_s \sum_{s \in N(u)} \sum_{n \in N(u)} \Theta_1 \leq \mu$，这表明 $F_w$ 是一个收缩映射。

在非线性（非位置）GNN 中，$h_w$ 由多层前馈神经网络实现。由于三层神经网络是通用逼近器，$h_w$ 可以逼近任何期望的函数。但并非所有参数 $w$ 都可用，必须确保相应的转移函数 $F_w$ 是收缩映射。这可以通过在式（这里可理解为特定的公式）中添加惩罚项来实现，即：
$e_w = \sum_{i = 1}^{p} \sum_{j = 1}^{q_i} (t_{i,j} - \phi_w(G_i, n_{i,j}))^2 + \beta L(\frac{\partial F_w}{\partial x})$
其中，惩罚项 $L(y)$ 当 $y > \mu$ 时为 $(y - \mu)^2$，否则为 0，参数 $\mu \in (0, 1)$ 定义了 $F_w$ 期望的收缩常数。更一般地，惩罚项可以是任何关于 $w$ 可微，且关于雅可比矩阵范数单调递增的表达式。例如，在实验中使用的惩罚项 $p_w = \sum_{i = 1}^{s} L(A_i_1)$，其中 $A_i$ 是 $\frac{\partial F_w}{\