qq_14950717的博客

一、简介 在社区划分问题中，存在着很多的算法，如由Newman和Gievan提出的GN算法，标签传播算法(Label Propagation Algorithm, LPA)，这些算法都能一定程度的解决社区划分的问题，但是性能则是各不相同。总的来说，在社区划分中，主要分为两大类算法 1.凝聚方法(agglomerative method)：添加边 2.分裂方法(divisive method)：

LPA算法（标签传播算法） 1、为所有的节点指定一个唯一的标签 2、逐轮刷新所有节点的标签，直到达到收敛要求为止，对于每一轮刷新，节点标签刷新的规则如下： 对某一个节点，考察其所有邻居节点的标签，并进行统计，将出现个数最多的那个标签赋给当前节点，当个数最多的标签不唯一时，随机选择一个。 目前spark-graphx实现了该社区发现算法。该算法优点就是算法原理简单，实现简便，廉价的计算;缺点就

好友推荐：有好多推荐方式，比如根据兴趣爱好去推荐，根据朋友的盆友去推荐等等，这里不再赘述，这个比较经典的问题，大家肯定都知道吧，或许很多人指导用hadoop怎么去实现，这个问题如果用hadoop去实现，得用至少两次mapreduce去实现吧，这里先不去说明hadoop怎么去实现的，先看看数据，然后用spark去实现。 小明 老王 如花 林志玲 老王 小明 凤姐 如花 小明 李刚

val graph=GraphLoader.edgeListFile(sc,”/home/spark/spark/graphx/data/followers.txt”)//加载边时顶点是边上出现的点,定点默认数据是1，注意文件格式:1 2,中间是空格graphx只会读取两列分别作为源顶点和目标顶点,如:1 2 other，第三列的other直接被忽略      val users = sc.te

最近在搞社交网络的算法，前面简单叙述了pagerank的相关以及graphx的实现，现在简单介绍好友推荐算法，每当我们在QQ的添加好友等的时候，下面总会出现腾讯推荐给我们的好友，你会发现推荐的好友大多都是你某个好友的好友（即二度好友），而且其中还有一些比较详细的规则，下面简单介绍： 一、六度分割理论： 1967年，美国哈佛大学的心理学教授Stanley Milgram(1933-1984)想要描

在工作中，在图进行初始化的时候，需要根据边的权重去计算每个点再迭代过程中获得到的能量值。 下面呈现出简单实现： val rdd = sc.textFile("hdfs://master:9000/graph").map( line =>{ val pair = line.split("\\s+") (pair(0).toLong,(pair(1).toLong,pai

spark-graphx实现的pagerank源代码分为两个： spark-1.6.\graphx\src\main\scala\org\apache\spark\graphx\Pregel.scala有一个还有一个在spark-1.6.\graphx\src\main\scala\org\apache\spark\graphx\lib\PageRank.scala中该PageRank模型提供了两

GraphFrame基于Spark SQL的DataFrame，继承了DataFrame扩展性和高性能。并且可以提供支持Scala、Java和Python等语言的统一API。.GraphFrame是类似于Spark的GraphX库，支持图处理。但GraphFrame建立在Spark DataFrame之上，具有以下重要的优势：支持Scala ，Java 和Python API：GraphFrame提

首先介绍图：一、图的基本概念图是由顶点集合(vertex)及顶点间的关系集合组成的一种数据结构： Graph＝( V, E ) V表示顶点的集合，E表示图的边的集合即顶点之间关系的集合。其中 V = { x | x  某个数据对象} 是顶点的有穷非空集合； E = {(x, y) | x, y  V } 或 E = { | x, y  V && Path (x, y)}