对DAG的粗略理解

本文深入探讨了Spark作业执行过程中的关键概念,包括job、RDD、shuffle依赖、narrow依赖及task的运行机制。阐述了从job提交到task执行的全过程,以及不同依赖类型对数据处理的影响。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

在这里插入图片描述
当一个job提交后,最后一个RDD执行action算子从所有的父级依赖查找shuffle依赖,找到shuffle依赖后创建一个shuffle map stage,在stage中的必定是narrow依赖,narrow依赖中的是task任务,有多少个partition就有多少个task,多个task称作taskset任务集,一个任务集就是一个stage,task在进程上运行,运行完后释放所有资源。

RDD(弹性分布式数据集):是一个抽象概念,spark计算过程中一个瞬时结果。
shuffle依赖:宽依赖,父级RDD的分区被子级RDD多个分区所使用。
narrow依赖:窄依赖,父级RDD的分区被子级RDD一个分区使用。
task:是spark中最小的计算单元。

有不对的地方还希望有大神指出来,及时改正,感谢。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值