A Tutorial on Network Embeddings

最新推荐文章于 2022-11-14 00:13:39 发布
转载 最新推荐文章于 2022-11-14 00:13:39 发布 · 341 阅读 · 0

本文探讨了网络嵌入技术的发展历程，从传统降维方法到深度学习模型，如DeepWalk、Node2Vec和SDNE等，介绍了无监督、特征网络及异构网络嵌入方法。重点讲解了如何在大规模网络中有效捕捉节点间复杂关系。

 A Tutorial on Network Embeddings

paper：https://arxiv.org/abs/1808.02590
 
NE 的中心思想就是找到一种映射函数，该函数将网络中的每个节点转换为低维度的潜在表示
典型例子 DeepWalk：
其学习 Zachary’s Karate network 网络中的拓扑结构信息并转换成一个二维的潜在表示（latent representation）
 

目标

  • 适应性
    • 随着网络发展，新的表示不需要重复学习
  • 可扩展
    • 短时间处理较大规模网络
  • 社区感知
    • 潜在节点间的距离可用于评估网络节点间的相似性度量
  • 低维
    • 标记数据稀疏时，低维模型能够更好的推广，并加速收敛和推理
  • 持续
    • 需要潜在的表示在连续的空间内模拟社区成员关系，连续的表示使社区有更平滑的边界，促进分类
此文包含
  • 无监督网络嵌入方法在无特征的同质网络的应用
  • 调研特征网络和部分标记网络中的网络嵌入
  • 讨论异构网络嵌入方法
 

网络嵌入发展

传统意义的Graph Embedding

  • 降维
    • PCA
    • 多维缩放（MDS）
      • 将特征矩阵 M 的每一行投影到k 维向量，保留k 维空间中原始矩阵中不同对象距离
    • Isomap 算法
      • （MDS 的扩展）通过将每个节点与特定距离内的节点连接构造邻域图，以保持非线性流形的整体结构
    • 局部线性嵌入（ LLE ）
这些方法都在小型网络上提供良好性能，但其时间复杂度至少为二次，故无法在大规模网络上运行
 

深度学习

  • DeepWalk
    • 通过将节点视为单词并生成短随机游走作为句子来弥补网络嵌入和单词嵌入的差距。然后，可以将诸如 Skip-gram 之类的神经语言模型应用于这些随机游走以获得网络嵌入。
    • 按需生成随机游走。skim-gram 针对每个样本进行了优化
    • DeepWalk 是可扩展的，生成随机游走和优化 Skip-gram 模型的过程都是高效且平凡的并行化
    • 引入了深度学习图形的范例
 
 

无向网络的网络嵌入

 

 

  • LINE
    • 为了更好的保存网络的结构信息，提出了一阶相似度和二阶相似度的概念，并在目标函数中结合了两者
    • 使用广度优先算法，只有距离给定节点最多两跳的节点才被视为相邻节点
    • 使用负抽样 skip-gram
  • Node2vec
    • 反映网络的结构
    • deepwalk 的扩展（deepwalk 完全时随机的），引入偏向的随机游走，增加 p，q 两个参数，p（控制访问走过的node，即往回走，q 控制没走过的node ，向外走）
    • DeepWalk和node2vec算法是先在网络中随机游走，得到node的序列。两个node同时出现在一个序列中的频率越高，两个node的相似度越高。然后构建一个神经网络，神经网络的输入是node，输出是其他node与输入的node同时出现的概率。同时出现的概率越高，两个node的相似度越高。为了保持相似度一致，得到目标函数
  • Walklets
    • 不要游走，跳过！在线学习多尺度网络嵌入
    • 进一步学习节点不同权重的网络嵌入，以不同的粒度捕获网络的结构信息。
  • GraRep
    • 通过将图形邻接矩阵提升到不同的幂来利用不同尺度的节点共现信息，将奇异值分解（SVD）应用于邻接矩阵的幂以获得节点的低维表示
  • GraphAttention
    • 不是预先确定超参数来控制上下文节点分布，而是自动学习对图转换矩阵的幂集数的关注
    • 通过设置隐藏层，这些层里的节点能够注意其邻近节点的特征，我们能够（隐含地）为邻近的不同节点指定不同的权重，不需要进行成本高昂的矩阵运算（例如反演），也无需事先知道图的结构
  • SDNE
    • https://blog.youkuaiyun.com/wangyang163wy/article/details/79698563
    • 通过深度自动编码器保持 2 跳邻居之间的接近度。它通过最小化它们的表示之间的欧几里德距离来进一步保持相邻节点之间的接近度
    • 具有多层非线性函数，从而能够捕获到高度非线性的网络结构。然后使用一阶和二阶邻近关系来保持网络结构。二阶邻近关系被无监督学习用来捕获全局的网络结构，一阶邻近关系使用监督学习来保留网络的局部结构
  • DNGR
    • 基于深度神经网络的学习网络嵌入的方法
 
 

改进

 
HARP
https://zhuanlan.zhihu.com/p/32525850?edition=yidianzixun&utm_source=yidianzixun&yidian_docid=0I21RlAU
  • network embedding的时候保持网络高阶的结构特征，具体的做法是通过将原网络图进行合并，合并为多个层次的网络图
  • 通过递归地粗粒化方式，将原网络图的节点和边通过合并划分成一系列分层的结构更小的网络图，然后再利用现有的算法进行不断的特征提取，从而实现最终的network embedding特征提取
 

特征网络嵌入（ Attributed Network Embeddings ）

无监督网络嵌入方法仅利用网络结构信息来获得低维度的网络特征。但是现实世界网络中的节点和边缘通常与附加特征相关联，这些特征称为属性（attribute）。
例如在诸如 Twitter 的社交网络站点中，用户（节点）发布的文本内容是可用的。因此期望网络嵌入方法还从节点属性和边缘属性中的丰富内容中学习
 
挑战：特征的稀疏性，如何将它们合并到现有的网络嵌入框架中

方法：

  • TADW
    • Network repre- sentation learning with rich text information
    • 研究节点与文本特征相关联情况，首先证明了deepwalk 实质上是将转移概率矩阵 分解为两个低维矩阵，它将文本矩阵合并到矩阵分解过程中
 

联合建模网络结构和节点特征

  • CENE
    • 结合网络结构和节点特征
    • 将文本内容视为特殊类型的节点，并利用节点-节点链接和节点内容链接进行节点嵌入。 优化目标是共同最小化两种类型链路的损失。
 

节点标签，引文网络中的出版地和日期等

典型方法是：优化用于生成节点嵌入和用于预测节点标签的损失
  • GENE
    • 将组的信息考虑到Network Embedding学习中，同一组的节点即使直接没有边，一般也会存在一些内在关系
    • 每个相同的组也会学到一个向量表示，组向量有两个用处：1）在利用周围节点预测中心节点时，组向量也会加入预测; 2）组向量也会预测组中的其他节点。最后目标函数是将上述两项相加而成
  • Max margin DeepWalk（MMDW）
    • 第一部分是基于矩阵分解的节点嵌入模型
    • 第二部分是将学习的表示作为特征来训练标记节点上的最大边缘 SVM 分类器。通过引入偏置梯度，可以联合更新两个部分中的参数。
 

异构网络嵌入

  • Chang [13] 提出了异构网络的深度嵌入框架
    • 为每种模态（如图像，文本）构建一个特征表示，然后将不同模态的嵌入映射到同一个嵌入空间
    • 优化目标：最大化链接节点嵌入间的相似性、最小化未链接节点的嵌入

ahilll
关注
网络表示学习综述：一文理解Network Embedding
Paper weekly
08-14 1万+
在碎片化阅读充斥眼球的时代，越来越少的人会去关注每篇论文背后的探索和思考。在这个栏目里，你会快速 get 每篇精选论文的亮点和痛点，时刻紧跟 AI 前沿成果。点击本文底部...
对network embedding的理解
liuyangxiaolu的博客
08-27 1838
Network Embedding：网络嵌入方法 旨在学习网络中节点的低维度潜在表示，所习得的特征表示可以用作基于图的各种任务的特征(如：分类、类聚、链路预测和可视化) Network Embedding的介绍 在整个网络上执行复杂推理过程非常困难，由于信息网络包含数十亿个节点和边缘，故提出：网络嵌入方法。 NE的中心思想：找到一种映射函数，该函数将网络中的...
Enhanced Network Embeddings via Exploiting Edge Labels笔记
Suan2014的博客
12-21 603
因为要做KBQA，最近会看一些知识图谱相关的论文，这篇论文是network embeddings类看的第一篇，理解难免有误，望大佬指正。 原文链接：https://arxiv.org/abs/1809.05124?context=physics.soc-ph 摘要 Network Embedding 的工作就是学习得到低维度的向量来表示网络中的结点，低维度的向量包含了结点之间边的复杂信息。...
Sound Event Detection: A Tutorial 学习笔记
Maestro_T的博客
11-14 3797
声音事件监测论文：Sound Event Detection: A Tutorial 学习笔记
Generalizing to Unseen Domains: A Survey on Domain Generalization 论文分享
dailleson的博客
05-03 1802
这篇论文应该是领域泛化领域第一篇综述，楼主花了些时间较为仔细的读了一下，写了这篇笔记 1.理论分析(论文所有的分析都基于二分类问题，分析工具会用到VC维) Domain Adaptation中的error bound error bound包含三项：源域上的误差+源域和目标域的距离+理想模型的误差（对相同的数据集，源域和目标域上的理想分类器的分类差异） 一般的DA方法将第三项视作为常数项，主要优化第一和第二项（缩小源域和目标域的距离）, i.e. domain invariant feature rep
论文-《Visual Question Answering A tutorial》重点翻译+扩展
Vivinia的博客
10-11 1691
论文笔记 论文下载 摘要Abstract： Tremendous advances have been seen in the field of computer vision due to the success of deep learning, in particular on low- and midlevel tasks, such as image segmentation or...
《Conditional Network Embeddings》论文分析
luoxuexiong的博客
04-30 818
《Conditional Network Embeddings》发表在ICLR2019上 论文解读： 1.论文思路： 考虑到现有嵌入方法所面临的一个困难是，某些网络由于其结构特性：比如(近似)多分性、一定程度的分布性、协调性等，从根本上难以嵌入。为了克服这一问题，本文在网络嵌入领域引入了创新的概念，并提出创建条件网络嵌入(CNEs);最大限度地增加与给定结构属性相关的信息(例如节点度、块密度...
基于深度神经网络的embeddding来构建推荐系统
anshuai_aw1的博客
11-17 2368
在之前的博客中，我主要介绍了embedding用于处理类别特征的应用，其实，在学术界和工业界上，embedding的应用还有很多，比如在推荐系统中的应用。本篇博客就介绍了如何利用embedding来构建一个图书的推荐系统。 本文主要译自《Building a Recommendation System Using Neural Network Embeddings》，完整详细的代码见官方GitH...
深度学习国外综述论文 Efficient Processing of Deep Neural Networks: A Tutorial and Survey
09-05
非常全面的国外综述论文，对深度学习各个反向理论有一个全面的介绍！
SVM tutorial
06-02
SVM Tutorial. An excellent introduction to Support Vector Machine.
Efficient Processing of Deep Neural Networks: A Tutorial and Survey
05-08
This article aims to provide a comprehensive tutorial and survey about the recent advances towards the goal of enabling efficient processing of DNNs. Specifically, it will provide an overview of DNNs, discuss various hardware platforms and architectures that support DNNs, and highlight key trends in reducing the computation cost of DNNs either solely via hardware design changes or via joint hardware design and DNN algorithm changes.
Deep Neural Networks in a Mathematical Framework-Springer(2018).pdf
03-27
Over the past decade, Deep Neural Networks (DNNs) have become very popular models for problems involving massive amounts of data. The most successful DNNs tend to be characterized by several layers of parametrized linear and nonlinear transformations, such that the model contains an immense number of parameters. Empirically, we can see that networks structured according to these ideals perform well in practice. However, at this point we do not have a full rigorous understanding of why DNNs work so well, and how exactly to construct neural networks that perform well for a specific problem. This book is meant as a first step towards forming this rigorous understanding: we develop a generic mathematical framework for representing neural networks and demonstrate how this framework can be used to represent specific neural network architectures. We hope that this framework will serve as a common mathematical language for theoretical neural network researchers—something which currently does not exist—and spur further work into the analytical properties of DNNs. We begin in Chap. 1 by providing a brief history of neural networks and exploring mathematical contributions to them. We note what we can rigorously explain about DNNs, but we will see that these results are not of a generic nature. Another topic that we investigate is current neural network representations: we see that most approaches to describing DNNs rely upon decomposing the parameters and inputs into scalars, as opposed to referencing their underlying vector spaces, which adds a level of awkwardness into their analysis. On the other hand, the framework that we will develop strictly operates over these vector spaces, affording a more natural mathematical description of DNNs once the objects that we use are well defined and understood.
Efficient Processing of Deep Neural Networks A Tutorial and Survey
03-16
该文档是顶会深度学习与硬件加速综述，对从本世纪初到现在的深度学习发展以及对应的硬件加速方法做了比较清晰的概述，非常具有代表性
Efficient processing of deep neural networks: A tutorial and survey
W0n9_的博客
01-15 1839
深度神经网络的高效处理：教程和综述 摘要 深度神经网络(DNN)目前广泛应用于计算机视觉、语音识别和机器人等人工智能(AI)领域。虽然DNN在许多AI任务上提供了最先进的精确度，但它以高计算复杂度为代价。因此，对于DNN在AI系统中的广泛部署而言，实现DNN的有效处理以提高能源效率和吞吐量而又不牺牲应用精度或增加硬件成本的技术至关重要。本文旨在提供一个有关实现DNN高效处理目标的最新进展的综合教程和综述。 具体来说，它将提供DNN的概述，讨论支持DNN的各种硬件平台和体系结构，并重点介绍仅通过硬件设计更改或
文献笔记（1）
tiaozhanzhe1900的博客
10-15 2110
文章目录1 abstract&introduction2 background on deep neural networks(DNN)(1) AI&DNNs(2) Neural networks and DNNs(3) Inference(推断) vs training(4) application of DNN(5) Embedded vs Cl
论文阅读记录(Efficient Processing of Deep Neural Networks: A Tutorial and Survey)(毕设笔记5)
fenggang2333的博客
02-03 833
论文阅读(Efficient Processing of Deep Neural Networks: A Tutorial and Survey)(毕设笔记5) section 1: 导言 section 2: 介绍DNN的历史和应用，说明DNN的重要性 section 3: 概述了DNN的基本组成部分，介绍了一些流行的DNN模型 section 4: 介绍了用于DNN研究和开发的各种资源 section 5: 介绍了处理DNN的硬件平台，和各种用于提高吞吐量和能效的优化 section 6: 讨论了混合信
A Tutorial on Torchtext 【转载】
weixin_43526074的博客
01-02 396
A Tutorial on Torchtext reference: http://anie.me/On-Torchtext/ 这个网页有时候打不开，所以粘贴过来。 October 29, 2017 About 2-3 months ago, I encountered this library: Torchtext. I nonchalantly scanned through the READ...
A Tutorial on Energy-Based Learning
最新发布
11-09
**《A Tutorial on Energy-Based Learning》** - **作者**：Yann LeCun（深度学习先驱，图灵奖得主） - **内容概要**： - 系统阐述EBM框架如何统一逻辑回归、SVM、结构化预测等模型（引用[3]） - 对比**...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值