
spark
Jasonty
这个作者很懒,什么都没留下…
展开
-
Spark学习笔记:初识Spark
=。=原创 2016-05-12 16:16:41 · 601 阅读 · 0 评论 -
Spark学习笔记:joinVertices & outJoinVertices
joinVertices 若graph顶点的Id在点集pointTest中,则将graph顶点的属性使替换为点集pointTest的点属性; 若graph顶点Id不在点集pointTest中,则不对graph顶点属性做任何修改。1.创建graphscala> val graph = GraphLoader.edgeListFile(sc, "file:///home/hadoop/1.txt")原创 2016-05-13 13:18:10 · 3219 阅读 · 0 评论 -
Spark学习笔记:aggregateMessages
应用情景:分析一个图时,需要分析与顶点相连接的每个顶点的信息,例如,需要统计汇总指向A点的每个顶点的信息:每个点的年龄为了提高性能,主要的聚合操作从graph.mapReduceTriplets改为了新的graph.AggregateMessages。1.生产一个100个点的graph,边的数目随机。点属性Double,表示该点的年龄,边属性Intscala> import org.apache.s原创 2016-05-13 15:23:57 · 3668 阅读 · 1 评论 -
Spark学习笔记:Pregel API
import org.apache.spark.graphx._// Import random graph generation libraryimport org.apache.spark.graphx.util.GraphGenerators// A graph with edge attributes containing distancesval graph: Graph[Int原创 2016-05-13 21:14:42 · 1787 阅读 · 0 评论 -
GraphX:RDD详解
———————–施工中——————–VertexRDDs1.filter过滤出符合条件的点集scala> val graph = GraphLoader.edgeListFile(sc, "file:///home/hadoop/1.txt")scala> graph.vertices.filter{case(id, v) => id > 5}2.mapValuesmap方法改变点的属性scala原创 2016-05-17 17:08:04 · 2636 阅读 · 0 评论