zsycode的博客

本文思考如何将Transformer的主体结构应用到图结构数据上。作者认为将Transformer应用到图上最关键问题是如何适合地将图的结构信息整合到模型之中。自注意力机制只计算了节点和其他节点的语义相似性，而没有考虑图上节点的结构信息和节点对之间的关系。作者采用了如下三种方式对结构信息进行编码Centrality Encoding中心性编码，用来衡量节点的重要性，通过节点的入度和出度来得到中心性编码​是基于入度和出度的可学习向量，如果是无向图，则出度等于入度。将..

目的对于一个图G=(V,E)G=(V,E)G=(V,E)，我们需要找个映射fff，使得每个节点表示成一个高维向量，即f:V−>Rdf:V->R^df:V−>Rd，其中ddd为特征表示的维度数。主要思想将skip-gram模型扩展到图上。目标函数如下，NS(u)N_S(u)NS​(u)表示u节点的领域节点（不是直观的领域节点，而是通过下面采样得到的节点），f(u)f(u)f...