
Spark
Lifecycle-log4j
如果有一天我们觉得自己碌碌无为,那是因为我们自己没有努力让自己活的更精彩。
展开
-
Spark图计算实例
图计算实例 package cn.graphx import org.apache.spark.graphx.{Edge, Graph} import org.apache.spark.{SparkConf, SparkContext} /** * 图计算 * 构建点,边 */ object HelloGraphx { def main(args: Array[String]...原创 2018-11-12 17:07:18 · 1807 阅读 · 0 评论 -
Spark宽依赖与窄依赖的区别
窄依赖是指父RDD的每个分区只被子RDD的一个分区所使用,子RDD分区通常对应常数个父RDD分区。这其中又分两种情况:1个子RDD分区对应1个父RDD分区(如map、filter等算子),1个子RDD分区对应N个父RDD分区(如co-paritioned(协同划分)过的Join)。 宽依赖是指父RDD的每个分区都可能被多个子RDD分区所使用,子RDD分区通常对应所有的父RDD分区。这其中又分两种...转载 2018-11-09 20:46:41 · 887 阅读 · 0 评论