Shuffle Map Task运算结果的处理 这个结果的处理，分为两部分，一个是在Executor端是如何直接处理Task的结果的；还有就是Driver端，如果在接到Task运行结束的消息时，如何对Shuffle Write的结果进行处理，从而在调度下游的Task时，下游的Task可以得到其需要的数据。 Executor端的处理 在解析BasicShuffle Writer时，我们知道ShuffleMap Task在Executor上运行时，最终会调用org.apache.spark.scheduler.ShuffleMapTask的runTask： [java] view plain copy
本文深入探讨了Spark Shuffle Map Task的运算结果处理，包括Executor端如何处理Task结果，以及Driver如何处理Shuffle Write的数据，确保下游Task能够获取所需数据。详细解析了Executor的TaskRunner和Driver的TaskSchedulerImpl在不同状态下的任务处理逻辑，特别是ShuffleMapTask结果的存储和通过MapOutputTrackerMaster进行注册的过程。
订阅专栏 解锁全文
扫一扫
719
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
