Spark Core(八)窄依赖、款依赖

本文详细解析了Spark中的窄依赖与宽依赖概念。窄依赖指子RDD的每个Partition只依赖于父RDD的一个Partition,形成一一对应关系;宽依赖则涉及多个父Partition到子Partition的转换,体现为多对多的复杂依赖。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

  1. 窄依赖
    1. 定义:窄依赖英文为Narrow Dependency。在Spark中,我们具体操作的是RDD数据,而RDD是由多个Partition组成的,所以实际上我们真正操作的是Partition上的数据。当我们操作Partition上的数据的时候无非是两种情况,一种是TranslationAction、这两种操作都会有一个RDD产生另一个RDD,我们管前一个RDD叫做父RDD,管后一个RDD叫子RDD,在执行操作的时候,如果子RDD中的每个Partition中的数据与父RDD中的其中的一个Partition 的数据转换或者操作而来的,他们是一一对应的关系,那么我们就管这种依赖关系叫做窄依赖
    2. 图解:
      这里写图片描述
  2. 款依赖
    1. 定义:窄依赖英文为Narrow Dependency。在Spark中,我们具体操作的是RDD数据,而RDD是由多个Partition组成的,所以实际上我们真正操作的是Partition上的数据。当我们操作Partition上的数据的时候无非是两种情况,一种是TranslationAction、这两种操作都会有一个RDD产生另一个RDD,我们管前一个RDD叫做父RDD,管后一个RDD叫子RDD,在执行操作的时候,如果子RDD中的每个Partition的数据是由父RDD中的多个Partition中的一部分数据转换或者操作而来的,他们是多对多的对应的关系,那么我们就管这种依赖关系叫做宽依赖
    2. 图解:
      这里写图片描述
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值