- 博客(2)
- 收藏
- 关注
RSS订阅原创 spark中RDD的Stage任务划分
1）DAG有向无环图 DAG（Directed Acyclic Graph）有向无环图是由点和线组成的拓扑图形，该图形具有方向，不会闭环。例如，DAG记录了RDD的转换过程和任务的阶段。 2）RDD任务切分中间分为：Application、Job、Stage和Task （1）Application：初始化一个SparkContext即生成一个Application； （2）Job：一个Acti...
2020-01-13 08:26:29
980
原创 spark中的reduceByKey()算子按照key聚合value
spark 中reduceByKey()算子，记录下 import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} object KeyValue02_reduceByKey { def main(args: Array[String]): Unit = { //1.创建SparkConf并设置A...
2020-01-10 18:29:20
871
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人