Spark复习十一：内置图算法，PageRank算法的解析以及简单案例

IT change the world

于 2020-04-20 16:00:59 发布

阅读量960

点赞数 2

分类专栏： spark 文章标签：算法数据结构大数据 spark

本文链接：https://blog.youkuaiyun.com/csdnliu123/article/details/105636761

版权

博客介绍了PageRank算法的原理，初始每个顶点PR值为1/N，然后通过出边按1/M比例传递PR值，不断迭代直到收敛。在案例中，顶点的PageRank值与其入度和出度相关，入度多的排名高，PageRank值还会受到排名系数的影响。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.PageRank算法描述：

1.1用1/N的页面排名值初始化每个顶点，N是图中顶点总数和。

1.2循环：
每个顶点，沿着出边发送PR值1/M，M为当前顶点的出度。

当每个顶点从相邻顶点收到其他发送的PR值后，合计这些PR值后作为当前当前顶点新的PR值。

图中顶点的PR与上一个迭代相比没有显著变化，则退出迭代。

2.PageRank算法案例：

package sparkGraphX

import org.apache.spark.graphx.{Graph, GraphLoader, VertexRDD}
import org.apache.spark.{SparkConf, SparkContext}

object pageRankTest {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("SimpleGraphX").setMaster("local")
    val sc = new SparkContext(conf)
    sc.setLogLevel("WARN")
    val graph: Graph[Int, Int] = GraphLoader.edgeListFile(sc,"D:/web.txt")
//  val web: VertexRDD[Double] = graph.pageRank(0.001).vertices   //动态调用 参数为收敛值
    val staticPage: VertexRDD[Double] = graph.staticPageRank(5).vertices  //静态调用 参数为迭代次数，第二个参数为resetProb

最低0.47元/天解锁文章