Map-reduce的思想计算pagerank的过程

      map-reduce 的思想计算pagerank的过程
题目：按照 map-reduce的思想 ，现在假设有物理节点A，B参与计算，其中网页1、2保存于A，网页3、4保存于B，试述完整的pagerank计算过程
    1 、物理节点A分别统计分析网页1、2有哪些外链指出来，物理节点B分别统计分析网页3、4有哪些外链指出来，然后，构建矩阵G；

     2、对于矩阵G，4 X 4,按照map的思想，第1,2列分配到A节点参与计算，第3,4列分配到B节点参与计算；

     3、现在设特征向量初始值为q=[q1  q2   q3  q4]

  按照map的思想：

第一次：A节点计算： G11*q1, G21*q1 , G31*q1, G41*q1 和G12*q2, G22*q2, G32*q2, G42*q2 ;

B节点计算： G13*q3, G23*q3 , G33*q3, G43*q3 和G14*q4, G24*q4, G34*q4, G44*q4 ;

  按照reduce思想：

     A,B计算的每个结果发送到目标节点，然后计算结果

G11*q1+ G12*q2+ G13*q3+ G14*q4àq1(第2次参与运算的q1)

G21*q1+ G22*q2+ G23*q3+ G24*q4àq2(第2次参与运算的q2)

G31*q1+ G32*q2+ G33*q3+ G34*q4àq3(第2次参与运算的q3)

G41*q1+ G42*q2+ G43*q3+ G44*q4àq4(第2次参与运算的q4)

    同理：按照map-reduce思想，进行第二次，第三次…….

继续运算，最后向量q(next)和q(current)距离小于1e-6时，输出当前的q就是PageRank值。

Normal 0 7.8 磅 0 2 false false false EN-US ZH-CN X-NONE Normal 0 7.8 磅 0 2 false false false EN-US ZH-CN X-NONE

转载于:http://blog.itpub.net/26857237/viewspace-745535/