【论文笔记】A Survey on Network Embedding

最新推荐文章于 2024-06-13 14:55:29 发布
最新推荐文章于 2024-06-13 14:55:29 发布
阅读量4.3k 收藏 27
点赞数 7
CC 4.0 BY-SA版权
分类专栏： 网络表示学习 网络表示学习 文章标签： Network Embedding Survey Graph Embedding
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/zjwreal/article/details/87897474

A Survey on Network Embedding , TKDE 2018

本文是清华大学崔鹏老师组出的关于Network Embedding方面的综述论文，详细地介绍了该领域目前主要的方法和未来的研究方向。对于希望在该领域进行研究的同学来说非常值得阅读。

文章目录

模型 基于 节点相似度 (un)directed/(un)weighted year 备注
DeepWalk 随机游走 K阶 undirected，unweighted KDD 2014
node2vec 随机游走 K阶 KDD 2016
LINE 类似随机游走 1阶+2阶 WWW 2015
GraRep K阶
N-NMF NMF 1阶+2阶
SDNE 1阶+2阶
HOPE 2016 非对称传递

Abstract

Network Embedding（NE，网络嵌入）是为网络中的节点学习得到一个低维的向量表示，并有效保留网络的结构。本文内容包括以下方面：

  • 总结了network embedding的motivation
  • 讨论经典的graph embedding算法和network embedding的关系
  • 提供关于network embedding方法系统的介绍，包括：保留网络的结构特征以及性质，带有side information的NE方法等
  • 多种评价方法
  • 数据集和软件
  • 未来方向

1 Introduction

传统的方法，我们通常将一个网络表示为一个图 G = &lt; V , E &gt; G = &lt;V,E&gt; G=<V,E> 但是大型网络中此表示方法不使用，存在以下挑战如：

  • 高计算复杂度（需要不断地遍历节点，如计算节点之间的距离）
  • 低并行化（节点之间紧耦合，相互依赖）
  • 不适用于机器学习方法（节点之间相互依赖，无法分割为独立的向量。而ML方法通常假设样本可以分割为独立的向量）

使用边来显性地表示节点之间的关系，是传统方法最大的瓶颈所在。在network embedding空间中，节点之间的关系（传统方法用边来体现），通过节点之间的embedding向量距离来表示，其中节点的拓扑和结构特征已经被编码到embedding向量中。

NE representation学习低维连续稠密向量，在保留固有信息的同时有效减少了噪声和冗余信息。

NE应用

（1）Node classification（2）Node clustering（3）Network visualization（4）Link prediction

NE目标

（1）学到的embedding空间可以重建原网络。

​ 网络中相邻节点在embedding空间距离应该小

（2）学到的embedding空间能够支持关于该网络的推断

​ 预测未见过的链接、推断节点标签

2 方法分类

根据embedding所含有的信息类型分为以下三类

（1）网络结构和性质

（2）附加的信息（如节点和边的属性）

（3）高级信息（如针对具体任务节点分类，有节点标签信息）

之间已经介绍network embedding的目标包括网络的重建和推断。传统的graph embedding主要关注网络重建

Structure and property preserving network embedding

考虑只有拓扑信息的网络，只基于网络拓扑信息学习得到network embedding。相关的工作尝试保留网络的结构信息：如节点和边、邻居结构、高阶节点邻近度、社区结构等。

除了网络的结构信息之外，网络的性质对于建模网络的演化中也不可忽视（如三角闭合性、结构平衡性质）。

Network Embedding with Side Information

除了网络的拓扑之外，一些网络还伴随着丰富的附加信息，如：节点内容和标签、节点和边的属性、异构网络中节点的类型。

主要的挑战在于如何结合并平衡拓扑和附加信息在NE中的作用。

Advanced Information Preserving Network Embedding

之前两类方法学习网络表示通常使用无监督的方式，学得的embedding是通用的，可用于各种任务。而针对不同的目标问题可以进一步优化，通常采用有监督的方式。

以网络节点分类问题为例，如果我们有网络中一些节点的标签，可以将网络结构作为输入，节点标签作为监督信息，embedding表示作为隐含中间层。这样就能得到针对节点分类这项任务的embedding。

常用方法

基于矩阵分解

NE的目标是得到低维向量空间以表示网络，这与矩阵分解方法具有相同的目标。常用的矩阵分解模型：奇异值分解（SVD）、非负矩阵分解

基于随机游走

邻居结构可以用于描述一个节点的本地结构特征。尽管邻接矩阵刻画了节点的一阶邻近度，但是稀疏、离散、高维的向量表示不便于后续的应用。在NLP领域中，Word2Vec有效地将词向量从稀疏、离散、高维的向量转变为稠密、连续、低维的向量表示，通过重建词向量的“邻居词”（上下文词）共同出现的概率得到。一些NE方法借鉴了Word2Vec的想法，而关键在于如何定义网络中的邻居（neighborhood）。

类比于Word2Vec，基于随机游走的模型在网络中进行随机游走。将节点作为语言模型中的词，将随机游走作为句子，节点邻居可以用Word2Vec中共同出现的概率来定义。

代表工作：DeepWalk（KDD 2014），Node2Vec（KDD 2016）

深度神经网络

Network embedding本质是学习一个映射函数，将原网络空间映射到低维的向量空间。如基于矩阵的方法是假设这个映射函数是线性的。然而因为网络形成过程的复杂并且非线性，线性的映射函数并不足以将原网络空间映射到嵌入空间。

作为非线性的学习模型，深度神经网络取得了很大的成功。代表性的使用深度神经网络的NE方法：SDNE，SDAE，SiNE。

深度神经网络方法非常适用于端到端的NE方法。

3 Network Embedding和Graph Embedding对比

Graph embedding（GE）的目标与network embedding的目标相似，是将一个图（graph）嵌入到低维的向量空间。传统的图嵌入方法，图是从以特征表示的数据集中构造得到的，如图像数据集。GE综述（Fu and Ma 2012）

代表性的GE方法

GE方法起初是作为降维的技术。

代表工作：Isomap，LLE，LE；需要刻画节点对之间距离，计算复杂

Isomap

  • 由数据特征之间的距离通过KNN选择连接，构造一张图以及对应的距离矩阵D。对D进行MDS得到i对应的坐标向量，保留了低维空间中节点对之间的距离

Locally linear embedding (LLE)

  • 假设每个样本和其邻居都处于一个局部线性流形空间，, 一个节点的表示可以通过它的邻居节点的表示的线性组合来近似得到

Laplacian eigenmaps (LE) 拉普拉斯特征表

  • 简单的假设两个相连的节点的表示应该相近。特别地，这里表示相近是由向量表示的欧氏距离的平方来定义。该优化问题可以类似地转化为 Laplace 矩阵的特征向量计算问题。

NE/GE区别

目标区别

Network embedding：重建原始网络+网络推断。

Graph embedding主要目标是网络的重建。

因此，graph embedding 可以视为一种特殊的Network embedding，只考虑重建网络的network embedding。而现在的研究更注重网络的inference，也是本paper接下来的重点。

假设区别

GE通常用于从特征表示的数据中构造得到的图，节点之间的相似性通过原始特征空间中定义的边的权重来编码得到；

NE通常在自然形成的网络中得到，如社交网络/生物网络，节点之间的相似性并不是显式的或直接定义，而是根据具体应用场景来定义。

4 Structure and Property Preserving Network

网络结构

邻居结构、高阶节点邻接性、网络社区

邻居结构和高阶节点邻接性

DeepWalk

DeepWalk发现节点在短的随机游走中出现的分布，与自然语言中词的分布相似。利用Skip-Gram最大化节点的邻居与节点共同出现的概率

Node2Vec

对邻居的定义更加灵活，同时用BFS和DFS对邻居节点进行采样，能够同时将在同一community中的节点、或者有相似角色的node表示成相似的embedding 。

LINE

考虑网络的一阶和二阶相似性。一阶相似性是联合概率分布，由节点对之间的相似性来度量；二阶相似性是条件概率分布，通过节点生成其上下文节点的概率来度量；

GraRep

LINE只考虑一阶和二阶，GrapRep考虑K阶（K>2）相似性。给定一个邻接矩阵 A A A ，k步概率转移矩阵可通过 $A^{k} = A…A $ 计算得到。

网络社区

M-NMF

提出了一种模块化的非负矩阵分解模型(MNMF)，保留一阶和二阶节点相似性以及mesoscopic community structure。用了NMF模型保留微观结构（节点相似性），假设如果一个节点的表示与一个社区的表示相似，那么该节点很可能在这个社区中。使用了辅助的社区表示矩阵来联系节点表示和社区结构。

SDNE

深层模型。解决高非线性、结构保护和稀疏性问题。SDNE使用具有多个非线性层的深度自编码器来保留节点的邻居结构。

Cao 2017

借鉴PageRank，结合加权转移概率矩阵，可以主动构造节点的表示。捕获带权图结构和节点的非线性表示结构。

GEM-D 2017

提出一个NE框架，统一之前的算法。包括三个度量 [ h ( ⋅ ) , g ( ⋅ ) , d ( ⋅ , ⋅ ) ] [h(\cdot), g(\cdot), d(\cdot,\cdot)] [h(⋅),g(⋅),d(⋅,⋅)]。 分别为邻近度函数，非线性函数，度量h和g差异性的度量函数。

网络性质

保留网络性质的NE方法，目前主要集中在各种类型网络的网络传递以及符号网络中的结构平衡性质。

符号网络（signed graph）：a signed graph is a graph in which each edge has a positive or negative sign.

Ou 2015

保留非传递属性（A和B有关系，B和C有关系但是A和C没有关系）利用投影矩阵，抽取M哈希表，得到 最终相似度可以通过其聚合得到。如果两个节点语义相似，那么至少有一个较大。

HOPE （2016）

考虑有向网络的非对称传递性。（A->B B->C 则有 A->C （而不是C->A））。为了度量这种高阶相似性，HOPE总结了4种度量方法，将原始SVD转变为通用的SVD问题，时间复杂度降低，使其方案具有可扩展性。

SiNE（2017）

符号网络embedding，考虑正边和负边。结构平衡理论表明符号网络中的用户与朋友的距离比敌人更近（相似度更高）。给定一个三元组 ( v i , v j , v k ) (v_i, v_j, v_k) (vi​,vj​,vk​)，其中 e i j =

最低0.47元/天 解锁文章

200万优质内容无限畅学
A Survey of Network Embedding
Amyli_dream的博客
05-09 2637
A survey on Network Embedding   In this survey, we focus on categorizingand then reviewing the current development on network embedding methods, andpoint out its future research directions.   第一部分
network embedding
acejessica的博客
08-15 6453
毕业太难了，感觉导师给定的方向就是network embedding，node embedding了。network embedding大概分为两方面（根据我的需求），一个是对网络中的node进行低维向量表示，一个是针对子图进行向量化表示。Node embeddingnode embedding的方法（就我阅读的论文来看）主要分为：传统的降维方法（矩阵分解，Isomap等）。基于随机游走和word...
文献阅读（13）AAAI2017-A Survey on Network Embedding
优快云TianJi的博客
02-28 894
本文是对《A Survey on Network Embedding》一文的浅显翻译与理解，原文章已上传至个人资源，如有侵权即刻删除。
网络嵌入（network embedding）
ninomiya_yj0617的博客
06-10 8205
Definition：图嵌入，又称网络嵌入，是网络表征学习的一种方法，旨在用低维、稠密的向量空间表示高维、稀疏的向量空间，所学习道德特征可以用于分类、回归、聚类等机器学习任务。 Remark: 稀疏指的是一个向量（空间）里面大部分元素都是0，只有少部分元素是非0的。 这里介绍一种特殊的网络嵌入算法，称为 Accelerated Attributed Network Embedding （AANE），加速属性网络嵌入，详细细节见：Xiao Huang, Jundong Li, Xia Hu, 《 Acc.
关于Network embedding的一些笔记(内含数据集）
ZhichaoDuan的博客
03-15 7693
首先这也是我进入一个全新领域的第一步，本文有描述不准确的地方还望指正。Network embedding也就是将Graph中的node投影到低维度的向量空间中，再进行后续处理的计算。A Survey on Network Embedding 这篇论文对各种方法的优点和缺点都进行了详细的叙述。很多复杂的系统都是采用网络的形式，比如社交网络，生物网络，和信息网络。通常这些网络都很复杂，不容易处理，计算...
【论文笔记】A comprehensive survey on sentiment analysis: Approaches, challenges and trends（中）
qq_45841737的博客
12-02 1114
关于该篇论文3,4节的阅读笔记，翻译和理解不到位的地方请多见谅
论文笔记：A survey on next location prediction techniques, applications, and challenges
qq_40206371的博客
06-13 1150
2022。
A Survey on Deep Learning for Named Entity Recognition论文笔记
qq_41657873的博客
04-15 1422
前言：研究课题定为特定领域的命名实体识别，所以先阅读一篇综述，在此简单记录阅读过程。 摘要 在文章中，首先介绍现有的NER资源，包括标记的NER语料库及现成的NER工具，然后对现有的工作进行了分类：输入的分布式表示、上下文编码器、标签解码器。接下来探讨当前最有代表性的深度学习NER方法。最后，介绍NER面临的挑战和未来的研究方向。 简介 命名实体识别（NER）的概念 命名实体识别（NER）旨在识别...
论文笔记：Graph embedding techniques, applications, and performance: A survey
qq_35771020的博客
03-17 2345
一、基本信息 论文题目：《Graph embedding techniques, applications, and performance: A survey》 发表时间： 论文作者及单位： 论文地址：https://www.sciencedirect.com/science/article/pii/S0950705118301540 二、摘要 图形，例...
Network Embedding：Attributed Signed Network Embedding
dugking的博客
04-13 637
摘要: Network Embedding目的是学习到网络节点的低维表征，然后使用得到的表征，进行下游的分析人物，如聚类，分类以及链路预测。现有的大部分Network Embedding方法仅仅被设计应用于无符号社交网络(unsigned social networks)。然而，许多社交媒体网络都有正反两方面的链接，而无符号算法对这些链接的效用很小。最近在符号网络分析中的发现表明，负链接比正链接...
network embedding综述
05-03
这也是一篇关于关于网络表述学习的综述，国外一篇很具代表性的survey，
网络嵌入（network embedding）（SDNE相关）
weixin_43718641的博客
03-23 4808
网络表征学习 定义 在现实世界中，相比图片等简单的网格结构，图结构是更泛化的数据结构，比如一般的社交网络、互联网等，都是由图这种数据结构表示的，图的节点表示单个用户，图的边表示用户之间的互联关系。针对网络结构，用向量的数据形式表示网络结构、节点属性的机器学习方法就是网络表征学习。 学习的目的 第一，我们要学习一种低维度的向量表示网络节点，将节点映射到相应的向量空间，这种网络表征学习就是关于图结构的网络表征学习，也称网络嵌入； 第二，我们的表示不仅仅可以表征网络结构，同时也可以表征节点本身自带的属性，这种表征
机器学习基础--网络嵌入方法（Network Embedding）
wydbyxr的博客
08-31 1万+
网络嵌入方法（Network Embedding） 　　旨在学习网络中节点的低维度潜在表示，所学习到的特征表示可以用作基于图的各种任务的特征，例如分类，聚类，链路预测和可视化。 　　由于信息网络可能包含数十亿个节点和边缘，因此在整个网络上执行复杂的推理过程可能会非常棘手。因此有人提出了用于解决该问题的一种方法是网络嵌入（Network Embedding）。NE 的中心思想就是找到一种映射函数...
Network Embedding 与 Graph Embedding
qq_41067092的博客
09-20 359
网络嵌入与图嵌入在目标和假设上具有实质性的差异。网络嵌入有两个目标：重建原始网络和支持网络推断。图嵌入的目标主要为图重建。图嵌入可以看作是网络嵌入的一种特例。此外，图嵌入算法经常作用在特征表示数据集所构建的图上，在这种图中，由边的权重决定了节点之间的距离，而边的权重在原始的特征空间中已经定义好了。相反，网络嵌入算法通常作用在自然形成的网络上，在这些网络中节点之间的距离并不明确或者也没有给出直接的定义。节点之间的距离依赖于具体的分析目标和应用场景 ...
论文阅读笔记 Word Embeddings A Survey
weixin_30682127的博客
02-15 284
论文阅读笔记 Word Embeddings A Survey 收获 Word Embedding 的定义 dense, distributed, fixed-length word vectors, built using word co-occurrence statistics as per the distributional hypothesis. 分布式假说（distributiona...
LINE：Large-Information Network Embedding
qq_20632297的博客
04-24 4856
LINE︰ Large-Information NetworkEmbedding          Jian Tang1,Meng Qu2, MingzheWang∗, Ming Zhang2, Jun Yan1,Qiaozhu Mei3 1MicrosoftResearch Asia, {jiatang,junyan}@microsoft.com 2School ofEECS, Peki
NE(Network Embedding)论文小览
热门推荐
DarkScope从这里开始
07-04 3万+
NE(Network Embedding)论文小览自从word2vec横空出世，似乎一切东西都在被embedding，今天我们要关注的这个领域是Network Embedding，也就是基于一个Graph，将节点或者边投影到低维向量空间中，再用于后续的机器学习或者数据挖掘任务，对于复杂网络来说这是比较新的尝试，而且取得了一些效果。 本文大概梳理了最近几年流行的一些方法和论文，paper主要是来自t
网络表征学习（Network Embedding）1.网络的分类
weixin_45385568的博客
04-05 2337
不同的表征学习方法面向不同的网络，所以我们对网络进行分类。
对network embedding的理解
liuyangxiaolu的博客
08-27 1812
Network Embedding：网络嵌入方法 旨在学习网络中节点的低维度潜在表示，所习得的特征表示可以用作基于图的各种任务的特征(如：分类、类聚、链路预测和可视化) Network Embedding的介绍 在整个网络上执行复杂推理过程非常困难，由于信息网络包含数十亿个节点和边缘，故提出：网络嵌入方法。 NE的中心思想：找到一种映射函数，该函数将网络中的...
Unsupervised Attributed Multiplex Network Embedding
最新发布
04-02
### 无监督属性多路网络嵌入的研究与实现 #### 方法概述 无监督属性多路网络嵌入旨在通过学习节点表示来捕捉复杂网络中的拓扑结构、节点属性以及不同类型的边关系。Han等人提出的动态网络嵌入方法在网络演化过程中引入部分监控机制，从而有效处理时间依赖性和稀疏观测问题[^1]。这种方法可以扩展至多路网络场景，在其中每种类型的边对应于一种特定的关系。 对于具有多种类型边和节点特征的网络，Zhang等人开发了一种基于自注意力机制的图神经网络Hyper-SAGNN，该模型能够高效地应用于超图数据结构上[^2]。尽管其主要目标并非针对传统意义上的多层或多路网络，但它提供了一个强大的框架用于建模复杂的高阶交互模式。 另外，Burgess等人的工作展示了如何利用预训练二维扩散模型生成三维视角下的图像合成效果[^3]。虽然这项技术专注于视觉领域内的应用，但从概念上看，它也启发我们在设计新的网络嵌入算法时考虑更多维度的信息融合策略——即不仅限于单一层面或者静态视图下的一致性约束条件。 #### 实现建议 以下是几种可能的技术路线及其对应的工具包推荐： 1. **DeepWalk/Node2Vec 类似随机游走的方法** 可以尝试将标准版本调整成适应多重关联情况的形式。例如分别构建不同类型连接上的转移概率矩阵并交替采样路径序列作为输入给Word2vec架构训练得到最终向量表达形式。 2. **Graph Autoencoder (GAE) 或 Variational Graph Autoencoders(VGAE)** 使用TensorFlow/Keras API轻松搭建端到端解决方案。特别适合当存在大量未标记样本而希望充分利用潜在低维流形特性的情况下采用此类变分推理思路来进行优化求解过程。 3. **Heterogeneous Information Network Embedding** 如果您的应用场景涉及到异质实体间相互作用，则可参考MetaPath-based HIN embedding techniques like PTE(Microsoft Research), HERec(IBM Watson Lab). 这些方案通常会定义一些元路径规则指导局部邻域探索方向进而增强语义表征能力. 4. **Self-supervised Learning Frameworks on Attributed Multiplex Networks** 借助对比损失函数鼓励正负样本区分度提升的同时保持全局一致性假设成立的前提下完成目标任务导向型特征提取流程设置. 下面给出一段简单的Python伪代码展示如何初始化一个基本版的AutoEncoder类实例: ```python import tensorflow as tf from tensorflow.keras.layers import Input,Dense class SimpleAutoEncoder(tf.Module): def __init__(self,input_dim,hidden_units=64,output_activation='linear'): super(SimpleAutoEncoder,self).__init__() self.encoder=Dense(hidden_units,'relu')(Input(shape=(input_dim))) self.decoder=Dense(input_dim,output_activation)(self.encoder) model=SimpleAutoEncoder(784) print(model.summary()) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值