一个action算子一个job
下面是一个job的划分:
DAG(有向无环图):
顾名思义:有方向而没有环路
这里做了DAG优化 :
就是不切分窄依赖 举例??
1 + 1 + 1 +1 =?:
if 切分 : 1+1 =2 2+1 =3 3+1 =4
if 不切分 : 1+1+1+1 = 4
这样不切分的效率就会很高(DAG优化)
Spark_DAG
最新推荐文章于 2025-06-12 19:54:07 发布
一个action算子一个job
下面是一个job的划分:
DAG(有向无环图):
顾名思义:有方向而没有环路
这里做了DAG优化 :
就是不切分窄依赖 举例??
1 + 1 + 1 +1 =?:
if 切分 : 1+1 =2 2+1 =3 3+1 =4
if 不切分 : 1+1+1+1 = 4
这样不切分的效率就会很高(DAG优化)