超级会员免费看
本文详细介绍了Spark中RDD的依赖类型，包括窄依赖和宽依赖，通过map(), filter(), union(), join()等算子实例说明其特点。同时阐述了Stage的划分原则，根据有向无环图DAG进行Stage的确定，分析了Shuffle在宽依赖中的作用以及对Stage划分的影响，最后通过案例解析了Stage的划分过程。"
103144551,9134742,Python函数与代码复用详解,"['Python编程', '函数使用', '代码复用', '教育', '河南师范大学']
文章目录
零、本讲学习目标
- 理解RDD的宽依赖与窄依赖
- 理解Spark根据DAG将计算划分多个阶段
一、RDD的依赖
- 在Spark中，对RDD的每一次转化操作都会生成一个新的RDD，由于RDD的
懒加载特性，新的RDD会依赖原有RDD，因此RDD之间存在类似流水线的前后依赖关系。这种依赖关系分为两种：窄依赖和宽依赖。
（一）窄依赖
- 窄依赖是指父RDD的一个分区最多被子RDD的一个分区所用。也就是说，父RDD的分区与子RDD的分区的对应关系为一对一或多对一。例如，map()、filter()、union()、join()等操作都会产生窄依赖。
1、map()与filter()算子
- 一对一的依赖
2、union()算子
- 多对一的依赖
订阅专栏 解锁全文
扫一扫
1410
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
