spark笔记之DAG的生成

最新推荐文章于 2023-03-02 18:49:43 发布

weixin_33949359

最新推荐文章于 2023-03-02 18:49:43 发布

阅读量281

点赞数

CC 4.0 BY-SA版权

文章标签：大数据

原文链接：http://blog.51cto.com/13587708/2159586

本文介绍了DAG（有向无环图）的概念及其在RDD（弹性分布式数据集）中的应用。详细解释了如何根据RDD之间的依赖关系将DAG划分为不同的Stage，并探讨了窄依赖与宽依赖的区别及对Stage划分的影响。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

8.1什么是DAG
DAG(Directed Acyclic Graph)叫做有向无环图，原始的RDD通过一系列的转换就形成了DAG，根据RDD之间依赖关系的不同将DAG划分成不同的Stage(调度阶段)。对于窄依赖，partition的转换处理在一个Stage中完成计算。对于宽依赖，由于有Shuffle的存在，只能在parent RDD处理完成后，才能开始接下来的计算，因此宽依赖是划分Stage的依据。
spark笔记之DAG的生成