CS224W 4 Graph as Matrix: PageRank,Random Walks and Embeddings

目录

Link Analysis approaches—计算图中节点重要性

PageRank—"Flow" Model

基本思路

随机邻接矩阵M

 M和Random Walk联系起来

M和eigenvector centrality的联系

Summary

power iteration—计算PageRank

problems—dead ends&Spider traps和随机跳动

pagerank 优点

PageRank solution Summary

Personalized PageRank&Random Walks with Restarts

 3、PageRank、Personalized PageRank、Random Walks with Restarts的区别

Matrix Factorization and Node Embeddings

Summary

本课从矩阵的视角对图进行分析。将图视为矩阵：

• 通过random walk决定节点重要性(PageRank)
• 通过矩阵分解获得node embedding(MF)
• 将node embeddings(例如，Node2Vec)视为MF

可以发现random walk、MF、node embeddings是相关的

Link Analysis approaches—计算图中节点重要性

以网页为例，节点是web pages 边是超链接，仅考虑早期导航类型的超链接，不考虑现在事务性的超链接(发布评论、购买)。web是有向边。

web pages的重要性并不相同，利用web graph的链接结构为pages的重要性排序。

• 如果pages有更多in-coming links，则page更重要—仅计数
• 来自更重要的page的链接更加重要，我的邻居重要我也重要—递归问题

PageRank—"Flow" Model

基本思路

一个页面很重要：如果他被其他重要的pages指向。

• 每个链接的投票与其源页面的重要性成正比
• 如果具有重要性的页面 i 具有 di 个连出链接，则每个链接都会获得 ri / di 投票
• 页面j本身的重要性rj是其连入链接的投票总和

rj 是节点j的importance score

随机邻接矩阵M

利用M计算上述的Flow equation(如果利用Gaussian elimination则太复杂)

M的限制条件 :M的每列和要为1。

flow equation可以写为：r = M*r

 M和Random Walk联系起来

 r是random walk的一个稳定分布(经过多次迭代)

M和eigenvector centrality的联系

rank vector(重要性得分)r 是随机邻接矩阵M特征值为1的特征向量

Summary

PageRank:

• 使用 Web 的链接结构测量图中节点的重要性
• 使用随即邻接矩阵M模拟 random web surfer
• PageRank 的解r = Mr 其中r可以看做M的特征值为0的特征向量或者图上random walk的稳定分布

power iteration—计算PageRank

problems—dead ends&Spider traps和随机跳动

spider traps:所有重要性被一个page吸收，其他的为0

 重要性泄露出去了，所有page imporatance都变为0

 Spider Traps:每次random suffer有两个选择：以概率β遵循任意一个链接，或者以1-β的概率，跳到任意一个页面

 dead —每次都随机跳到任意一个page

 Google's solution

 

pagerank 优点

可以使所有pages的重要性score都不为0

PageRank solution Summary

使用power iteration求解

使用跳出解决dead-ends与 spider-traps

Personalized PageRank&Random Walks with Restarts

以给定一个二部图代表用户和item互动(购买)为例。

1、目标：图上的临近性

• 应该向和商品Q互动发用户推荐什么商品？
• 直觉：如果Q和P被相似的用户互动，那么当用户购买Q时，应该推荐P

 2、节点临近性度量。

 3、PageRank、Personalized PageRank、Random Walks with Restarts的区别

在传送时：PageRank以相同概率传到任意一个节点； Personalized PageRank可以以不同概率传到一个节点子集中节点； Random Walks with Restarts每次传送都跳到初始节点Q

 4、 Random Walks with Restarts步骤

 以node Q为例：

不断迭代—找到Q的任意一个user；直到user的任一个item；访问的对应item次数加一；以一定概率返回Q。

最后item出现次数最多的为最重要

此处模拟random walk求解，当然亦可以用随机矩阵M power iteration 求解

Matrix Factorization and Node Embeddings
 

1、以最简单的节点相似性为例：如果节点u和v相连，那么他们相似，可以把节点嵌入的内积当作邻接矩阵。

 具有由边连通性定义的节点相似性的内积解码器等效于 邻接矩阵A 的矩阵分解

 2、DeepWalk embedding的矩阵分解更加复杂

 3、node embeddings 通过 matrix factorization and random walks的限制

• 不能获得不在训练集里的节点的embedding，如果增加新节点的话需要重新计算所有节点的embedding
• 不能捕获结构相似性，例如节点1和11虽然局部结构相似，但从Random Walk无法从节点1走到11 因此两者会有非常不同的embedding。

•  不能利用节点、边、或图的feature属性信息

这些限制可以利用深度Representation和图神经网络解决

Summary