A Survey of Network Embedding

A survey on Network Embedding

 

In this survey, we focus on categorizingand then reviewing the current development on network embedding methods, andpoint out its future research directions.

 

第一部分： the motivation of network embedding

          Classical graph embedding algorithms, relationship with networkembedding.

第二部分，重点：Overview of a large number ofnetwork embedding methods.包括带有边缘信息和高层信息保护的网络嵌入方法。

 

Introduction：

怎么简明表示网络数据，便于更深层次分析，比如模式识别、分析和预测，在时空上可操作。传统的表示网络方法是一个图G=(V, E)  但大型网络中此表示方法在网络处理和分析中不适用，存在挑战。如：高的计算复杂度（两点间的距离的计算）、低并行化（紧耦合，分割图但依赖于图的拓扑结构）、不适用于机器学习

 用边来表示两者之间的关系，是最大的瓶颈。

       Relationshipamong the nodes: 边或者更高层次的拓扑结构。

Node classification  node clustering network visualization  link prediction

去除噪声和冗余，内在结构被保护，计算复杂度降低，可并行化。

1.     传统网络可被重建 2.适用于网络inference。例如链接预测，识别关键节点，节点标签。

Section2 NE方法分类 总结    section3 传统图嵌入方法和现在的网络嵌入方法的区别  Section4 5 6 各自分析NE方法。 Sec 7 一些评估场景和资源 Section8 研究方向

 

Section2方法分类

根据被保护的信息：

（1）     网络结构和属性保护的network embedding

（2）     Side information 的 network embedding

（3）     Advanced information preservingnetwork embedding

(1)   Structure and propertypreserving network embedding

比如识别关键节点，预测链接，则在只考虑拓扑结构的embedding中会存在很多问题。很多人尝试保留结构信息，如邻居的信息，高等级的邻近度、社区等等。网络属性：link formation。

（2）节点内容或者标签。节点和边的属性，以及节点的属性等。有利于network node的聚类。主要的挑战是：怎么整合和平衡网络的拓扑结构和边缘信息到networkembedding中。

（3）希望得到的embedding通用。需要监督信息。特定目标场景的表示学习框架，可以用在Network embedding中。（NLP、CV）

 

Commonly used models: matrix factorization \ random walk \deepneural networks and their variations.

（1）矩阵分解：N维的矩阵，将其降维。矩阵分解方法，与学习低秩空间的原矩阵相同的目标，可以很自然地应用于解决这个问题。SVD分解

（2）random walk：保护neighborhood structure , local structure,将节点视为word, 随机路径视为sentence,节点邻居视为共现率。 DeepWalk.

(3)深度神经网络：本质是学习一个映射函数。矩阵分解是线性函数。使用神经神经网络刻画一个非线性函数。SDNE,, SDAE   SiNE。 End to end solutions,比如针对cascade predictionand  network alignment.

 

Section3Network embedding V S Graph Embedding

传统的图嵌入方法，综述：Fu and Ma 2012 

图嵌入：

Graph Embedding 方法降维技术。流型学习。

考虑不同的重构方法，这方面有很多paper。

 

Network embedding 和graphembedding 有本质的不同：

Network embedding: 重建原始网络+网络推断。

而graph embedding主要目标是网络的重建。

因此，graph embedding 可以视为一种特殊的Network embedding，只考虑重建网络的network embedding.而现在的研究更注重网络的inference，也是本paper接下来的重点。

Network 一般来源于自然，其结点邻近度量一般不是很直接的，依赖于不同的分析或应用场景。

 

Section4 structure and Property preserving network embedding

结构保护可以分为很多种，包括：neighborhood structure \high-order node proximity \ network communities

 

(1)  Neighborhood structure and high-order

DeepWalk : 保护了邻居节点结构。设想Node出现在短的随机游走路径中的分布，类似于自然语言中词语的分布。则利用了skip-gram model来采纳到deepwalk中去学习节点。

Node2vec: 没考虑各个链接模式，Node2vec定义了网络的邻居，设计了second order random walk策略来采样邻居点，然后再深度和广度上采样。Node2vec将在同一community中的节点、或者有相似角色的node表示成相似的embedding ，

Line: 可以保护firstorder和second order。两种都是很重要的度量。Firstorder度量成联合概率分布（公式6）second order度量成基于内容的条件概率（公式7）。

 

(2)Networkcommunities 提出了一种模块化的非负矩阵分解模型(MNMF)，保护first-order and second-order proximities of nodes, and themesoscopic community structure。用了NMF模型保护微观结构，假设如果一个节点的表示与一个社区的表示相似，那么该节点在这个社区中可能具有很高的倾向

SDNE:深层模型。解决高非线性、结构保护和稀疏性问题。，SDNE使用具有多个非线性层的深度自动编码器来保护节点的邻居结构。

Cao：由PageRank模型驱动，结合加权转移概率矩阵，可以主动构造节点的表示。捕获权重图结构和节点的非线性表示结构。https://zhuanlan.zhihu.com/p/35070284

Chen：GEM-D[h(_); g(_); d(_; _)]  h()是邻近度函数，g()是非线性函数 d()是度量h和g的区别。

总结：保护一个node的局部信息，邻近结构、高阶近距离以及社区结构，

 

Property preserving network embedding

 

关注network transitivity 和 structural balance property

Ou(2015)保护非传递属性（A和B有关系，B和C有关系但是A和C没有关系）利用投影矩阵，抽取M哈希表，得到 最终相似度可以通过其聚合得到。如果两个节点语义相似，那么至少有一个 较大。

    &