graphx操作实例01-edgeListFile导入数据

最新推荐文章于 2020-11-26 15:13:47 发布

夜月xl

最新推荐文章于 2020-11-26 15:13:47 发布

阅读量5.7k

点赞数 2

CC 4.0 BY-SA版权

分类专栏： spark 文章标签： spark graphx edgeListFile 导入数据

本文链接：https://blog.youkuaiyun.com/u013045749/article/details/50482664

spark 专栏收录该内容

21 篇文章

订阅专栏

本文介绍如何使用 Apache Spark 的 GraphX 库从边缘文件加载图数据，并展示了如何显示图中的边和顶点信息。通过具体代码实例，读者可以了解 GraphX 处理图数据的基本流程。

import org.apache.spark._
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.graphx._
import org.apache.spark.rdd.RDD

object Day02 {

    def main(args: Array[String]) = {

		val conf = new SparkConf()
		val sc = new SparkContext("local", "test", conf)

		// day02.tsv
		// 1 2
		// 2 3
		// 3 1
		val graph = GraphLoader.edgeListFile(sc, "graphdata/day02.tsv").cache()
		// 利用edgeListFile导入day02.tsv数据

		println("\n\n~~~~~~~~~ Confirm Edges Internal of graph ")
		graph.edges.collect.foreach(println(_))
		// print
		// Edge(1,2,1)
		// Edge(2,3,1)
		// Edge(3,1,1)
		// 结果表明，不带属性的边，其属性会自动赋值为1

		println("\n\n~~~~~~~~~ Confirm Vertices Internal of graph ")
		graph.vertices.collect.foreach(println(_))
		// print
		// (2,1)
		// (1,1)
		// (3,1)
		// 结果表明：如果只输入边的Id信息，则顶点属性默认为1

		sc.stop
	}
}