lm709409753的专栏

1.最近在总结图计算，把相关算法实现贴出来，坐下总结，作为督促。算法实现多数是graphx。package org.apache.spark.graphx.algorithmsimport org.apache.spark.{SparkConf, SparkContext}import org.apache.spark.graphx.{EdgeDirection, VertexId, Gr...

1.算法描述pagerank算法里面，要设置一个随机重置概率，主要为了解决顶点自循环和顶点没有出边造成的问题。2.代码import org.apache.spark.graphx.GraphLoaderimport org.apache.spark.sql.SparkSessionobject PageRankExample { def main(args: Array[Str...

1.ConnectedComponents返回一个与原图结构相同的图，只是顶点的属性变为连通图中最小的顶点ID。2.算法 grpahx源码import scala.reflect.ClassTagimport org.apache.spark.graphx._object ConnectedComponents { /** * Compute the connecte...

1.LPA 标签传播算法，主要是顶点计算函数，选择label标签最多的项，更新顶点的属性。根据相应的业务，可以修改graphx的源码进行修改，改为我们业务中需要的标签值。由于LPA很难保证收敛，所以要设定迭代次数。2.代码object LabelPropagationAlgorithm { /** * Run static Label Propagation for detecti...