Tri-Party Deep Network Representation

最新推荐文章于 2022-12-26 18:16:00 发布

NockinOnHeavensDoor

最新推荐文章于 2022-12-26 18:16:00 发布

阅读量1.3k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： paper

本文链接：https://blog.youkuaiyun.com/NockinOnHeavensDoor/article/details/80687330

本文介绍了Tri-Party深度网络表示（triDNR），该模型结合了网络结构、上下文信息和标签信息来生成节点的embedding。通过随机游走、skip-gram模型与深度学习，同时考虑节点、上下文和标签的关系，优化目标函数以提升表示学习的效果。实验结果展示了模型的优越性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

layout	title	date
post	《Tri-Party Deep Network Representation》	2018-05-13 08:01

问题定义

网络表示为 $G=(V,E,D,C)G=(V,E,D,\mathcal C)$ ,其中V是点集合，E是边集合，D是由每个点上的文本(text)构成的集合， $C=L⋃U\mathcal C=L\bigcup U$ 是类别标签集合，其中L是网络中有标签的节点集合，U则是无标签的节点集合。

如果 $C=∅\mathcal C=\emptyset$ ,则本文的方法成了无监督学习的方法。

##前件

skip-gram模型
skip-gram的思想是给定当前词汇(current word)，在一定的窗口大小下(certain window)，预测上下文单词(context or surrounding words)。
最大化log-likelihood公式：
$(1)L=∑t=1TlogP(wt−b:wt+b∣wt)\mathcal L=\sum_{t=1}^Tlog \mathbb P(w_{t-b}:w_{t+b}|w_t) \tag{1}$

其中b是窗口大小， $w_t$ 表示词汇t。 $P(wt−b:wt+b∣wt)\mathbb P(w_{t-b}:w_{t+b}|w_t)$ 等于：
$(2)∏−b≤j≤b,j≠0P(wt+j∣wt)\prod_{-b \le j \le b,j\neq0}\Bbb P(w_{t+j}|w_t) \tag{2}$

再对给定词汇的上下文做i.i.d.假设，则 $P(wt+j∣wt)\Bbb P(w_{t+j|w_t})$ 的计算是：
$(3)P(wt+j∣wt)=exp(VwtTVwt+j′)∑w=1Wexp(VwtTVw′)\Bbb P(w_{t+j}|w_t)=\frac{exp(V_{w_t}^T V_{w_{t+j}}^{'} )}{\sum_{w=1}^Wexp(V_{w_t}^T V_{w}^{'} )} \tag{3}$