DyRep: Learning Representations over Dynamic Graphs解读

最新推荐文章于 2023-05-30 16:55:16 发布
原创 最新推荐文章于 2023-05-30 16:55:16 发布 · 1.6k 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文深入解读了由佐治亚理工学院和Deepmind合作的ICLR2019论文——DyRep，该框架专注于动态图的高效编码。DyRep通过动态图的概念，结合局部Embedding、历史Embedding和时间编码来捕获图的拓扑变化信息，利用注意力机制聚合节点信息，并通过解码器计算节点间的连接概率。
公众号 异度侵入

“ 图结构上的表示学习目前受到极大的关注，由于其在许多任务的优异表现，但目前很多方法针对静态图提出。在这篇文章主要解决两个问题如何编码动态图以及如何高效将动态图编码到低维空间中。作者提出了DyRep框架”
本篇文章由佐治亚理工学院以及Deepmind合作完成，发表在ICLR2019上，主要解决高效编码动态图的问题，作者提出的DyRep。本篇公众号主要就动态图概念、DyRep框架的关键部分进行解读。

01 动态图

动态图，指在某一段时间内节点或者边处于变化的图，则在动态图中节点的拓扑结构以及图变化的过程都储存着信息。如下图所示。
在这里插入图片描述

02 DyRep

作者提出DyRep框架去获取拓扑信息以及变化过程中所包含的信息。同样的DyRep框架核心仍在解决Embedding的问题，作者提出下面的更新公式进行更新Embedding。
在这里插入图片描述
其中z表示模型生成的Embedding。通过上面等式发现DyRep主要由三部分组成，局部Embedding即h项，节点v在t时刻之前的Embedding即等式右边z项，以及最后的时间编码项。其中h项是通过attention聚合节点v的信息得到。DyRep中h项可以用下图表示。
在这里插入图片描述

3 Over all<

最低0.47元/天 解锁文章
LDG：基于DyREP的动态图表示
xuan_ting的博客
01-31 1330
Learning temporal attention in dynamic graphs with bilinear interactions 作者是Boris Knyazev, Carolyn Augusta, and Graham W. Taylor，于2020年发表。 背景知识 DyREP提出，动态图中边分为2种： k = 0：Long-term association，如网络中节点增加、边的增加，导致邻接矩阵A改变。 k = 1：Communication，已有节点之间的交互，不会引入新的节点和
文献阅读（7）ICLR2019-DyREP：Learing Representations over Dynamic Graphs
优快云TianJi的博客
01-05 4507
本文是对《DyREP：Learing Representations over Dynamic Graphs》一文的浅显翻译与理解，如有侵权即刻删除。
时序图文献精读——6.2019-ICLR-DYREP: LEARNING REPRESENTATIONS OVER DYNAMIC GRAPHS
m0_51474171的博客
01-13 824
在中出现了两个基本问题： (i)如何优雅地在图上建模动态过程？（ii）如何利用这样的模型来有效地将不断发展的图信息编码为低维表示？我们提出了一个双时间尺度的深时间点过程模型，以捕获观测过程的交错动态。该模型被时间注意表示网络进一步参数化，该网络，进而驱动观察到的图动力学的非线性演化。我们的统一框架是使用一个有效的无监督程序进行训练的，并具有泛化不可见节点的能力。
研究生日记：学习笔记（二）20190918（动态图的表征学习）
weixin_42411537的博客
09-19 5749
动态图的表示学习 Paper:Representation Learning over Dynamic Graphs 摘要：通过DyRep算法将动态图形上的演化信息有效地进行编码，将其表示为低纬形式。分析动态图的过程中，动图中点之间的通信和关联很重要。论文采用时间尺度相关的多变量点过程模型来捕捉这些动态。论文中设计了一个有效的无监督学习过程（unsupervised learning proced...
三篇动态图文章JODIE DYREP TGN的理解
Rising_shit的博客
07-09 1462
三篇动态图文章DyRep JODIE TGN的理解 文章目录三篇动态图文章DyRep JODIE TGN的理解一、背景二、DyRep2.1 任务2.2 模型过程三 JODIE3.1 对于表征的更新3.2 对于预测未来最可能交互的点四 TGN3.1 Memory部分3.2 Embedding部分五 一点想法六 参考文献 一、背景 被抽象出的图往往会随着时间发生变化，新增或删除节点与边、如科研学术网络、商品购买抽象出的异质图等，但是传统的方法往往都是在一种固定的图结构上做，如GCN、TGN等，难以在图结构的层次
动态图的连续表示
qq_43570515的博客
05-30 807
—动态图的演化被视为随时间变化的静态图的快照集合。动态图的离散表示允许静态图方法为每个图快照编码结构信息，然后结合时间模型对时间信息进行编码以获得动态图的嵌入表示。该方法倾向于对图的整体拓扑结构信息和粗粒度时间信息进行编码。——将，对边中涉及的节点的局部交互信息和细粒度时间信息进行实时编码。动态图的连续表示是一种以更细的时间粒度对动态图进行建模的方法，并且是唯一具有准确时间信息的表示。这使它们成为的代表。
【论文下饭】Temporal Graph Network for Deep Learning on Dynamic Graphs
LittleSeedling的博客
04-27 5535
文章目录1 介绍2 背景3 Temporal Graph Network3.1 核心模块MemoryMessage Function(msg)Message Aggregator(agg)Memory Updater(mem)Embedding(emb)3.2 训练4 相关工作5 实验5.1 性能表现（实验结果）5.2 模块选择MemoryEmbedding MoudleMessage AggregatorNumber of layers6 结论 综述 Representation Learning for
动态社区网络前沿研究
欢畅
03-22 3531
动态社区网络前沿研究 转载：http://wemedia.ifeng.com/88113194/wemedia.shtml 导语 目前，大部分相关工作都是基于静态网络的嵌入，即没有考虑到网络随时间的演化。而真实网络的连边和节点以及节点特征都是动态的。 所以，基于动态网络、在网络嵌入中考虑时序信息更加符合实际，也会使得嵌入获得更加丰富的信息。 QQ、微信中的用户以及他们的好友关系会组成一张巨大的社交...
NLP最佳入门与提升路线
夕小瑶的卖萌屋
02-05 1889
前言 对突如其来的长假感到惶恐和不安？紧盯2019-nCoV的最新消息却依然感觉很空虚？腰酸萎靡脖子僵甚至怀疑自己有点发烧？这是长时间没学习的症状。 很久以前小夕推送的深度学习入门资料推荐和机器学习与数学基础入门系列收到到了很多小伙伴的好评和感谢，也因此一直有呼声希望小夕写一篇NLP方向的入门指导。于是，趁着这个长假，终于将这一篇拖了两年的稿子结了，希望能帮助到大家哦。 入...
最新推荐 | 清华NLP图神经网络GNN论文分门别类，16大应用200+篇论文
THU数据派
08-12 7103
来源：专知本文约6200字，建议阅读5分钟。本文总结了清华大学NLP课题组Jie Zhou, Ganqu Cui, Zhengyan Zhang and Yushi Ba...
论文浅尝 # ICLR 2020 - 一文全览知识图谱研究
05-09
ICLR 2020 正在进行，但总结笔记却相继出炉。我们曾对 ICLR 2020 上的趋势进行介绍，本文考虑的主题为知识图谱。
ICLR 2020 Bengio 一作论文：因果机制、元学习与模型泛化如何产生关联？.zip
04-08
Yoshua Bengio 等人基于学习器适应新分布的速度提出一种元学习因果结构，假设新分布由干预、智能体动作以及其它非稳态（non-stationarity）导致的稀疏分布变化引起，由此得出“正确的因果结构选择 会使学习器**更快地适应修改后的分布**”。该假设的研究将“适应修改后分布的速度”作为元学习的目标，表明“这可用于决定两个观测变量之间的因果关系”。研究结论的价值即特点和优势发现是，分布变化无需对应标准干预，学习器不具备关于干预的直接知识。因果结构可通过连续变量进行参数化，并以端到端的形式学得。研究探讨了想法的如何应用，来满足“独立机制 以及 动作和非稳态 导致的 机制内微小稀疏变化 ”的假设。
【论文解读】DynGEM: Deep Embedding Method for Dynamic Graphs
weixin_41873871的博客
11-22 3385
DynGEM发表于2018年，是一种结构保留的动态网络表征学习算法，用于生成动态 graph 的稳定嵌入。 论文链接：https://arxiv.xilesou.top/pdf/1805.11273.pdf 主要贡献： 利用深度自动编码器来生成高度的非线性嵌入向量； 将时刻的嵌入向量作为时刻的嵌入向量的初始值，随后进行训练，这不仅保证了嵌入向量的稳定性，也保证了训练的效率（收敛速率...
谷歌 Dynamic Computation Graphs 动态计算图
自然语言处理大菜鸟--HsingWang
03-02 2601
上次调研Syntax+NMT（http://blog.youkuaiyun.com/wangxinginnlp/article/details/56488921）发现Sequence-to-Tree 或者 Tree-To-Sequence目前已经火热起来，但是目前绝大部分的深度学习框架（http://blog.youkuaiyun.com/wangxinginnlp/article/details/58670706）只是
【论文笔记】网络表征学习
weixin_44602176的博客
01-04 451
论文来自：Network Representation Learning: A Survey   如下图所示，将网络表示学习分为两类，无监督网络表示学习和半监督网络表示学习，这取决于顶点标签是否可用于学习。对于每个组，进一步将方法分为两个子组，这取决于表示学习是否仅基于网络拓扑结构，还是由节点内容的信息增强。   结构保留网络表示学习是指打算保留网络结构的方法，即在新的嵌入空间中应该类似地表示原始...
图（Graph），也称网络（Network）
麦地与诗人
10-22 4046
现代社会人们构建了大量的网络系统, 如计算机网络、物联网、通信网络、交通网络、电力网 络、商业和金融网络以及社会关系网络等。 这些网络不但节点和连线数量众多、结构复杂, 而且其拓扑和属性也会随时间发生变化。 大量网络系统在提高人们生产效率和生活质量的同时也带来很多危害, 如网络病毒传播、电力网络故障引起的大面积停电, 通信系统中断引起的交通系统瘫痪等。因此对这些网络进行有效的分析和干预成为重要的科...
TGN：Temporal Graph Networks for Deep Learning on Dynamic Graphs
yxh的博客
08-31 7261
2、Background 2.1 Deep learning on static graphs 一个静态图 G=(V,E)\mathcal{G}=(\mathcal{V},\mathcal{E})G=(V,E) 包含结点 V=1,...,.n\mathcal{V}={1,...,.n}V=1,...,.n 和边 E⊆V×V\mathcal{E}\subseteq\mathcal{V}\times\mathcal{V}E⊆V×V，军备赋予了 features，对于所有的 i,j=1,...,ni,j=1,..
从几篇综述区分Dynamic Graph和Spatial-temporal Graph
羊城迷鹿的博客
02-28 8135
Foundations and modelling of dynamic networks using Dynamic Graph Neural Networks: A survey 本文首先给出了动态网络的定义和分类，然后分别从编码和解码的角度介绍了图神经网络模型如何用于动态图的嵌入表示以及完成链路预测任务 动态网络 定义 动态网络是随时间变化的复杂网络。链接和节点可能出现和消失。 一个 动态网络可以表示为一个图G=(V,E)G=(V, E)G=(V,E)，其中V={(v,ts,te)}V=\{(v
【动态图表示综述】Representation Learning for Dynamic Graphs: A Survey
图挖掘领域，新晋砖家 ☞ 未来可期，欢迎和静静一起学习交流吖
05-21 3724
综述|73页近百篇参考文献JMLR20动态图上的表示学习 论文Representation Learning for Dynamic Graphs: A Survey paper 转载AIGraph深度学习与图网络 摘要 图自然出现在许多现实世界的应用程序中，包括社交网络，推荐系统，本体，生物学和计算金融。传统上，用于图的机器学习模型主要是为静态图设计的。但是，许多应用程序涉及不断发展的图。由于节点，属性和边随时间变化，这为学习和推理带来了重要挑战。在此调查中，作者回顾了动态图（包括动态...
deep closest point: learning representations for point cloud registration
04-11
《b'deep closest point: learning representations for point cloud registration'》是一篇关于点云配准的学习表示方法的论文。它介绍了一种基于神经网络的新型点云配准方法，能够更有效地捕捉点云的结构信息，进而...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值