【论文阅读】DMGI：Unsupervised Attributed Multiplex Network Embedding

摘要

多路复用网络中的节点由多种类型的关系连接。然而，大多数现有的网络嵌入方法都假设节点之间只存在一种单一的关系。即使对于考虑网络多重性的人，他们也会忽略节点属性，使用节点标签进行训练，并且无法对图的全局属性建模。受DGI最大化局部patches和整个图的全局表示之间的互信息的启发，我们提出了一种无监督网络嵌入方法DMGI。我们设计了一个系统的方法来联合集成多个图的节点嵌入，方法是：1）引入一致性正则化框架，最大限度地减少特定关系类型的节点嵌入之间的分歧；2）不管关系类型如何，都能区分真实样本的通用鉴别器。我们还表明，注意力机制推断了每种关系类型的重要性，因此可以作为预处理步骤用于过滤不必要的关系类型。对各种下游任务的大量实验表明，尽管DMGI是完全无监督的，但DMGI优于最先进的方法。

1 引言

• 其他多路复用网络嵌入的问题：

（1）专注于多个图的集成，但忽略了节点属性。

（2）考虑到了节点属性，但训练时需要节点标签。

（3）不能建模图的全局特性（因为它们都基于基于随机游走的skip-gram模型或GCN，这两者都可有效捕获局部图结构）。

• DGI的优点：

（1）通过GCN自然地集成节点属性。

（2）以无监督方式训练。

（3）可以捕获整个图的全局结构。

2 问题陈述

• 定义：属性化多路复用网络（Attributed Multiplex Network）

G = { G 1 , G 2 , . . . , G ∣ R ∣ } = { V , E , X } \mathcal{G}=\{\mathcal{G}^1,\mathcal{G}^2,...,\mathcal{G}^{\mathcal{|R|}}\}=\{\mathcal{V},\mathcal{E},\pmb{X}\} G={ G1,G2,...,G∣R∣}={ V,E,XXX} 。

其中， G r = { V , E ( r ) , X } \mathcal{G}^r=\{\mathcal{V},\mathcal{E}^{(r)},\pmb{X}\} Gr={ V,E(r),XXX}是关系类型$r\in \mathcal{R}$的图，$\mathcal{V}$是$n$个节点的集合，$\mathcal{E}={\bigcup }_{r\in \mathcal{R}}{\mathcal{E}}^{(r)}\subseteq \mathcal{V}\times \mathcal{V}$是关系类型为$r\in \mathcal{R}$的所有边的集合，$X\text{X}X\in {\mathbb{R}}^{n\times f}$是编码$n$个节点属性信息的矩阵。

对于多路复用网络，$|\mathcal{R}|＞1$；对于单个网络，$|\mathcal{R}|=1$。

给定网络$\mathcal{G}$， A = { A ( 1 ) , . . . , A ( ∣ R ∣ ) } \mathcal{A}=\{\pmb{A}^{(1)},...,\pmb{A}^{(|R|)}\} A={ AAA(1),...,AAA(∣R∣)}是一组邻接矩阵，其中 A ( r ) ∈ { 0 , 1 } ∣ V ∣ × ∣ V ∣ \pmb{A}^{(r)}∈\{0,1\}^{|V|×|V|} AAA(r)∈{ 0,1}∣V∣×∣V∣是网络${\mathcal{G}}^r$的邻接矩阵。

• 任务：无监督属性化多路复用网络嵌入（Unsupervised Attributed Multiplex Network Embedding）

给定一个属性化多路复用网络 G = { V , E , X } \mathcal{G}=\{\mathcal{V},\mathcal{E},\pmb{X}\} G={ V,E,XXX}以及邻接矩阵的集合$\mathcal{A}$，任务是在不使用任何标签的情况下，学习每个节点$v_i\in \mathcal{V}$的$d$维向量表示$z$