《Graph Representation Learning》笔记 Chapter6

系列文章
《Graph Representation Learning》笔记 Chapter2
《Graph Representation Learning》笔记 Chapter3
《Graph Representation Learning》笔记 Chapter4
《Graph Representation Learning》笔记 Chapter5

Applications and Loss Functions

GNNs for Node Classification

可以使用 softmax 分类函数和负对数概率来定义损失
$$\begin{gathered} L=\sum _{u\in {\mathcal{V}}_{train}}-log(softmax(z_u,y_u)) \\ softmax(z_u,y_u)=\sum _{i=1}^c{y}_u[i]\frac{e^{z_u^T{w}_i}}{{\sum }_{j=1}^c{e}^{z_u^T{w}_j}} \end{gathered}$$
其中， $c$ 为种类数， $y_u\in {\mathbb{Z}}^c$ 为 one-hot 向量， $w_i\in {\mathbb{R}}^d,i=1,...,c$ 为可训练的参数。

GNNs for Graph Classification

平方误差损失如下所示
$$L=\sum _{{\mathcal{G}}_i\in \tau }\Vert MLP(z_{{\mathcal{G}}_i})-y_{{\mathcal{G}}_i}{\Vert }_2^2$$
其中， $\tau ={\mathcal{G}}_1,...,{\mathcal{G}}_n$ 表示有标签的训练集， $MLP$ 为具有单变量输出的神经网络， $y_{{\mathcal{G}}_i}\in \mathbb{R}$ 为 ${\mathcal{G}}_i$ 的标签。

Pre-training GNNs

有人提出预训练需要最大化节点嵌入 $z_u$ 和图嵌入 $z_{\mathcal{G}}$ 之间的互信息，损失函数如下所示
$$L=-\sum _{u\in {\mathcal{V}}_{train}}{\mathbb{E}}_{\mathcal{G}}log(D(z_u,z_{\mathcal{G}}))+\gamma {\mathbb{E}}_{\tilde{\mathcal{G}}}log(1-D({\tilde{z}}_u,z_{\mathcal{G}}))$$
其中， $z_u$ 为节点 $u$ 基于真实图 $\mathcal{G}$ 生成的嵌入， ${\tilde{z}}_u$ 为节点 $u$ 基于 corrupted 版本的图 $\tilde{G}$ 生成的嵌入， corrupted 指改变节点特征和邻接矩阵， $D$ 表示一个辨别函数，来辨别节点嵌入是否属于 $\mathcal{G}$ 或 $\tilde{\mathcal{G}}$ 。直观来看， GNN 需要在预训练中学会区分节点属于真图还是假图。

Efficiency Concerns and Node Sampling

Graph-level Implementations

整图级别的 GNN 表示为
$$H^{(k)}=\sigma (A{H}^{(k-1)}{W}_{neigh}^{(k)}+H^{(k-1)}{W}_{self}^{(k)})$$
其中， $H^{(t)}$ 为包含第 $k$ 层所有节点嵌入的矩阵。这样虽然使得计算变得简便，但会受限于计算机内存。

Subsampling and Mini-Batching

所以，每次可以只训练一部分节点子集。选择的子集内的节点需要与上一批子集内的节点相连，才能保证连接不变。

Parameter Sharing and Regularization

不同层之间的 $AGGREGATE$ 和 $UPDATE$ 函数可以共享参数来防止过拟合，也可以随机移除边缘来防止过拟合。