《统计学习方法》（第二十一章）——PageRank算法

PageRank的定义

基本想法

  PageRank算法作为计算互联网网页重要程度的算法被提出，它定义网页集合上的一个函数，它对每个网页给出一个正实数，表示网页的重要程度，值越大重要程度就越大。
  假设互联网是一个有向图，在其基础上定义随机游走模型，即一阶马尔可夫链，表示网页浏览者在互联网上随机浏览网页的过程，假设浏览者在每个网页依照连接出去的超链接以等概率跳转到下一个网页，并在网页上持续不断进行这样的随机跳转，这个过程形成一阶马尔可分夫链，最后会收敛到一个固定值

有向图和随机游走模型

• 随机游走模型
  给定一个含有n个结点的有向图，在有向图上定义随机游走模型，即一阶马尔可夫链，其中结点表述状态，有向边表示状态之间的转移，假设从一个节点到通过有向边相连的所有结点的转移概率相等，具体地，转移矩阵是一个n阶矩阵$M$
  $$M=[m_{ij}{]}_{n\times n}$$
  第$i$行第$j$列的元素$m_{ij}$取值规则如下:如果节点$j$有$k$个有向边连出，并且节点$i$是其连出的一个结点，则$m_{ij}=\frac{1}{k}$.否则$m_{ij}=0$
  $$\sum _{i=1}^n{m}_{ij}=1$$
  随机游走在某时刻$t$访问各个结点的概率分布就是马尔可夫链在时刻$t$的状态分布，可以用一个$n$维向量$R_t$表示，则
  $$R_{t+1}=M{R}_t$$

PageRank的基本定义

  给定一个包含$n$个结点$v_1,v_2,..,v_n$的强联通且非周期的有向图，在有向图定义随机游走模型，即一阶马尔可分链，随机游走的特点是从一个节点到有有向边连出的所有结点的转移概率相等，转移矩阵为$M$,这个马尔可夫链具有平稳分布$R$
$$R=MR$$
平稳分布$R$称为这个有向图的PageRank，R的各个分量称为各个结点的PageRank值
$$R=\left[\begin{array}{c}PR(v_1)\\ PR(v_1)\\ ...\\ PR(v_n)\end{array}\right]\text{\hspace{1em}(3)}$$
其中
$$PR(v_i)\ge 0$$
$$\sum _{i=1}^{n}PR(v_i)=1$$
$$RP(v_i)=\sum _{v_j\in M(v_i)}\frac{PR(v_j)}{L(v_j)}$$
$M(v_i)$表示指向结点$v_i$的结点集合,$L(v_j)$表示结点$v_j$连出的有向边的个数

不可约且非周期的有限状态马尔可夫链，有唯一平稳分布存在，并且当时间趋于无穷时状态分布收敛于唯一的平稳分布

PageRank的一般定义

  给定一个含有$n$个结点的任意有向图，在有向图定义一个一般的随机游走模型，即一阶马尔可夫链。一般的随机游走模型的转移矩阵由两部分的线性组合组成，一部分是有向图的基本转移矩阵$M$,表示从从一个结点到其连出的所有结点的转移概率相等，另一部分是完全随机的转移矩阵，表示从任意一个结点到任意一个结点的转移概率为$\frac{1}{n}$,线性组合系数为阻尼因子$d(1\le d\le 1)$这个一般随机游走的马尔可夫链存在平稳分布，记作$R$定义平稳分布向量$R$为这个有向图的一般PageRank
$$R=dMR+\frac{1-d}{n}1\text{1}1$$决定，其中$1\text{1}1$是所有分量为1的n维向量.

PageRank的计算

迭代算法

输入:含有$n$个结点的有向图，转移矩阵$M$，阻尼因子$d$，初始向量$R_0$
输出:有向图PageRank的向量$R$
$(1)$令$t=0$
$(2)$计算
$$R_{t+1}=dM{R}_t+\frac{1-d}{n}1\text{1}1$$
$(3)$如果$R_{t+1}$和$R_t$充分接近，令$R=R_{t+1}$,停止
$(4)$否则$t=t+1$转向$(2)$

幂法

任取初始向量$x_0$,构造如下的一个$n$维向量序列
$$x_0,x_1=A{x}_0,x_2=A{x}_1,...,x_k=A{x}_{k-1}$$
假设
$$|{\lambda }_1|\ge |{\lambda }_2|\ge ...\ge |{\lambda }_n|$$
对应额线性无关特征向量
$$u_1,u_2,...,u_n$$
则
$$x_0=a_1{u}_1+a_2{u}_2+...,+a_n{u}_n$$
$$x_1=a_{1}A{u}_1+a_{2}A{u}_2+...,+a_{n}A{u}_n$$
$$x_k=a_1{A}^k{u}_1+a_2{A}^k{u}_2+...,+a_n{A}^k{u}_n$$
$$=a_1{\lambda }_1^k{u}_1+a_2{\lambda }_2^k{u}_2+...,+a_n{\lambda }_n^k{u}_n$$
$$=a_1{\lambda }_1^k[u_1+\frac{a_2}{a_1}(\frac{{\lambda }_2}{{\lambda }_1}{)}^k{u}_2+...+\frac{a_n}{a_1}(\frac{{\lambda }_n}{{\lambda }_1}{)}^k{u}_n]$$
当k充分大时
$$x_k=a_1{\lambda }_1^k[u_1+{ϵ}_k]$$
$$x_k\to a_1{\lambda }_1^k{u}_1$$
$$x_k\approx a_1{\lambda }_1^k{u}_1$$
$$x_{k+1}\approx a_1{\lambda }_1^{k+1}{u}_1$$
$${\lambda }_1\approx \frac{x_{k+1,j}}{x_{k,j}}$$
在实际计算的时候，我们需要规范化
$$y_{t+1}=A{x}_t$$
$$x_{t+1}=\frac{y_{t+1}}{||y_{t+1}||}$$
其中
$$||x||$$为无穷范数
输入:含有n个结点的有向图，有向图转移矩阵为$M$,系数为$d$，初始向量$x_0$计算精度$ϵ$
输出：有向图的PageRankR
$(1)$令$t=0$,选择初始向量$x_0$
$(2)$计算有向图的一般转移矩阵$A$
$$A=dM+\frac{1-d}{n}E$$
$(3)$迭代并规范化结果
$$y_{t+1}=A{x}_t$$
$$x_{t+1}=\frac{y_{t+1}}{||y_{t+1}||}$$
$(4)$$||x_{t+1}-x_t||<ϵ$，令$R=x_t$,停止
$(5)$否则$t=t+1$执行$(3)$
$(6)$对$R$进行规范化处理，使其表示概率分布

代数算法

按照定义
$$R=dMR+\frac{1-d}{n}1\text{1}1$$
则
$$(I-dM)R=\frac{1-d}{n}1\text{1}1$$
$$R=(I-dM{)}^{-1}\frac{1-d}{n}1\text{1}1$$