APPNP:PREDICT THEN PROPAGATE: GRAPH NEURAL NETWORKS MEET PERSONALIZED PAGERANK

背景

发表论文时对应的对比算法。

KLICPERA J, BOJCHEVSKI A, GÜNNEMANN S. Predict then Propagate: Graph Neural Net-
works meet Personalized PageRank[C/OL] //7th International Conference on Learning Represen-
tations, ICLR 2019, New Orleans, LA, USA, May 6-9, 2019. : OpenReview.net, 2019. https:
//openreview.net/forum?id=H1gL-2A9Ym.

理论部分

APPNP (Approximation Personalized Propagation of Neural Prediction)被应用在引文网络的节点分类任务中。在节点分类中，一般的网络方法对领域节点的考虑是不足的。APPNP利用图卷积神经网络与个性化页面排序结合， 利用PageRank传播的方式构建一种简单的模型，来进行邻域节点信息更好的传播。PageRank 算法通过网页链接重要性得分计算。重要性可认为是网页链接点击。PageRank算法给定一个概率值，定义为网页访问的概率。一般地， $\frac{1}{N}$ 表示为每个网页节点初始化的概率， $\mathrm{PR}$也是一个初始化的概率值。PageRank 是一个迭代算法，因此$\mathrm{PR}$ 值初始化为$\frac{1}{N}$ ， $N$表示为节点的数量。 $\mathrm{PR}$值的总和一般为1，当$\mathrm{PR}$越大，说明重要性越大。
给定节点$v$，求节点$v$的$\mathrm{PR}$值，
$$\mathrm{PR}(v)=\sum _{u\in {\mathcal{N}}_v}\frac{\mathrm{PR}(u)}{O(u)}$$
${\mathcal{N}}_v$表示所有链接到节点$v$的集合。 $O(u)$表示节点$u$的对外链接数。最早提出的PageRank算法存在着一些缺点，例如当一些节点存在自链接，或者是一些节点的出链节点形成循环圈时，PageRank在迭代过程中会出现$\mathrm{PR}$ 持续增大，不会减小的情况。对于上述问题，PageRank算法被重新进行改进。
$$\mathrm{PR}(v)=\alpha \sum _{u\in {\mathcal{N}}_v}\frac{\mathrm{PR}(u)}{O(u)}+\frac{(1-\alpha )}{N}$$
$\alpha$是一个超参数，取值一般为0.85。 $\alpha$表示节点跳转时的概率，不依据节点之间的链接进行跳转。
PageRank算法衍生出的模型个性化的PageRank算法，主要利用图中节点的链接关系来迭代计算节点的权重。PageRank算法使用随机游走的策略来访问图中节点。PageRank算法与个性化Page Rank算法的区别在于随机游走时的跳转行为不同。个性化的PageRank算法对跳转行为进行约束，指定调转到的对外链接为特定的节点。例如在个性化排序时，用户只能跳转到一些特定的节点，这些节点表示用户偏好的那些节点。
$$\mathrm{PP}{\mathrm{R}}^{{}^{\prime }}(v)=\alpha \sum _{u\in {\mathcal{N}}_v}\frac{\mathrm{PR}(u)}{O(u)}+(1-\alpha )r_v$$
其中，
$$r_v=\{\begin{array}{cc}1& v=u\\ 0& v\ne u\end{array}$$
个性化PageRank算法中，用户的偏好表示为$|r_v|=1$。原始的PageRank采用的计算方式为${\mathbf{\rho }}_{\mathrm{pr}}={\mathbf{A}}_{\mathrm{rw}}{\mathbf{\rho }}_{\mathrm{pr}}$，${\mathbf{\rho }}_{\mathrm{pr}}$是${\mathbf{A}}_{\mathrm{rw}}$的特征向量，${\mathbf{A}}_{\mathrm{rw}}=\mathbf{A}{\mathbf{D}}^{-1}$，类似的，个性化的PageRank 算法可以表示为
$${\mathbf{\rho }}_{\mathrm{ppr}}({\mathbf{x}}_{\mathbf{v}})=(1-\alpha )\tilde{\mathbf{A}}{\mathbf{\rho }}_{\mathrm{ppr}}({\mathbf{x}}_{\mathbf{v}})+\alpha {\mathbf{x}}_{\mathbf{v}}$$
对上式进行重新表示，得到
$${\mathbf{\rho }}_{\mathrm{ppr}}({\mathbf{x}}_{\mathbf{v}})=\alpha (\mathbf{I}-(1-\alpha )\tilde{\mathbf{A}}{)}^{-1}{\mathbf{x}}_{\mathbf{v}}$$
${\mathbf{x}}_{\mathbf{v}}$表示的是节点$v$对应的传送向量。
PPNP模型的输出结果可表示为${\mathbf{Z}}_{\mathrm{PPNP}}$
$${\mathbf{Z}}_{\mathrm{PPNP}}=\mathrm{softmax}(\alpha (\mathbf{I}-(1-\alpha )\tilde{\mathbf{A}}{)}^{-1}{f}_w(\mathbf{X}))$$

$f_w(\mathbf{X})$表示的是一个关于参数学习权重$w$的神经网络。$\tilde{\mathbf{A}}={\hat{\mathbf{D}}}^{{}^{-\frac{1}{2}}}\hat{\mathbf{A}}{\hat{\mathbf{D}}}^{{}^{-\frac{1}{2}}}$ ， $\hat{\mathbf{A}}=\mathbf{A}+\mathbf{I}$。为加快PPNP的网络模型训练速度，因此APPNP在PPNP的基础上近似求逆的操作。被表示为：
$${\mathbf{Z}}_{\mathrm{APPNP}}^{(0)}=f_w(\mathbf{X})$$

$${\mathbf{Z}}_{\mathrm{APPNP}}^{k+1}=(1-\alpha ){\tilde{\mathbf{A}}\mathbf{Z}}_{\mathrm{APPNP}}^k+\alpha f_w(\mathbf{X})$$

$${\mathbf{Z}}_{\mathrm{APPNP}}^K=\mathrm{softmax}((1-\alpha ){\tilde{\mathbf{A}}\mathbf{Z}}_{\mathrm{APPNP}}^{K-1}+\alpha f_w(\mathbf{X}))$$

通过上述公式，矩阵的求逆操作被进行近似。在APPNP迭代到最后两步时，进行归一化操作。$k\in K$ ，$K$ 表示迭代的次数。
个性化的页面排序算法加入$\alpha$，表示节点跳转时依据一定的概率，使页面排序算法具有个性化。
APPNP算法利用图卷积神经网络与页面排序算法结合的方式，提出一种个性化页面排序算法解决图神经网络节点分类问题的模型。相比于一些基线模型，APPNP算法没有引入任何的参数量，但APPNP的算法收敛速度较慢。APPNP算法将个性化页面排序算法与图卷积神经网络结合，图卷积神经网络可以被替换为图注意力网络等。

理论部分注意事项

$${\mathbf{\pi }}_{\mathrm{pr}}={\mathbf{A}}_{\mathrm{rw}}{\mathbf{\pi }}_{\mathrm{pr}}$$
${\mathbf{\pi }}_{\mathrm{pr}}$应该是${\mathbf{A}}_{\mathrm{rw}}$的特征向量。参考链接来自：

https://codeantenna.com/a/TmBbfN2SV1

相关资料

https://blog.youkuaiyun.com/fnoi2014xtx/article/details/107567629

数据

https://github.com/shchur/gnn-benchmark/tree/master/data

代码

https://github.com/benedekrozemberczki/APPNP