Spark技术内幕: Task向Executor提交的源码解析

最新推荐文章于 2025-06-22 12:22:07 发布
最新推荐文章于 2025-06-22 12:22:07 发布
阅读量1.2k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： Spark 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/gaowenhui2008/article/details/44452669
Spark 专栏收录该内容
18 篇文章 ¥19.90 ¥99.00
订阅专栏
本文深入探讨Spark的Task如何从DAGScheduler的submitMissingTasks开始，经过序列化、TaskSet创建，最终到达Executor执行的过程。分析了ShuffleMapTask和ResultTask的运行机制，以及Task在Executor中的执行细节。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在上文《Spark技术内幕：Stage划分及提交源码分析》中，我们分析了Stage的生成和提交。但是Stage的提交，只是DAGScheduler完成了对DAG的划分，生成了一个计算拓扑，即需要按照顺序计算的Stage，Stage中包含了可以以partition为单位并行计算的Task。我们并没有分析Stage中得Task是如何生成并且最终提交到Executor中去的。

这就是本文的主题。

从org.apache.spark.scheduler.DAGScheduler#submitMissingTasks开始，分析Stage是如何生成TaskSet的。

如果一个Stage的所有的parent stage都已经计算完成或者存在于cache中，那么他会调用submitMissingTasks来提交该Stage所包含的Tasks。

org.apache.spark

了解本专栏 订阅专栏 解锁全文
Spark技术内幕：Shuffle Map Task运算结果的处理
GY的的专栏
03-19 2421
Shuffle Map Task运算结果的处理 这个结果的处理，分为两部分，一个是在Executor端是如何直接处理Task的结果的；还有就是Driver端，如果在接到Task运行结束的消息时，如何对Shuffle Write的结果进行处理，从而在调度下游的Task时，下游的Task可以得到其需要的数据。 Executor端的处理 在解析BasicShuffle Writer时，我们知道Sh
Spark源码第三篇——从TaskScheduler处理TaskSet到发送任务到Executor端
真一居士的博客
07-10 529
上一篇传送门：https://blog.youkuaiyun.com/cw1254332663/article/details/95072254 学习的总结，不对之处请大家及时指正，谢谢啦！ 上回我们讲到Stage经过一系列的操作之后，成为了一个TaskSet被发送到了TaskSchedulerImpl中。其调用的方法如下： override def submitTasks(taskSet: Ta...
[任务执行器: TaskExecutor]-源码分析
最新发布
...
06-22 340
TaskExecutor 是 Spring 自定义的任务执行器接口，它本质上是 Java 标准接口 java.util.concurrent.Executor 的一个别名封装，用于抽象执行 Runnable 的行为。
Spark源码解析3 - 提交Task到Executor
qq_29332453的博客
09-10 245
==提交Task到Executor= App->Job->Stage->Task 注:这里Driver、Executor已经都准备好了。 1.Driver端任务提交 org.apache.spark.scheduler.DAGScheduler --submitMissingTasks //每一个Task对应处理一个分区的数据，将多个Task放到TaskSet中进行提交 --taskScheduler.submitTasks(new TaskSet) //在Task之前，创建了T
大数据之spark_spark中的序列化问题详解
WuBoooo的博客
09-27 994
Task序列化问题 问题现象 本质原因 1.封装数据的bean没有实现序列化(报错图1) 封装数据的bean需要写入本地磁盘和在网络中传输，没有实现序列化出出错 2.rdd的算子中传入的函数用到了外部引用类型(闭包)，且没有实现序列化(报错图2) 本质原因的Task是在Driver端生成的，函数也是在Driver端定义的，但是真正执行是需要将Task和Task中引用都序列化，如果有没法序列化的，就会出现Task没有序列化异常 Task在底层有实现序列化接口的,所以Task可以被传输到Executor端,
spark产生_Spark闭包函数从产生到在executor执行经历了什么？
weixin_30276247的博客
01-29 152
Spark闭包 | driver & executor程序代码执行​mp.weixin.qq.com首先，对RDD相关的操作需要传入闭包函数，如果这个函数需要访问外部定义的变量，就需要满足一定条件（比如必须可被序列化），否则会抛出运行时异常。闭包函数在最终传入到executor执行，需要经历以下步骤：1.driver通过反射，运行时找到闭包访问的变量，并封装成一个对象，然后序列化该对象2....
Spark技术内幕：Stage划分及提交源码分析
anzhsoft的技术专栏
10-18 2万+
在一个RDD触发了一个action（比如count，collect）时，任务是如何被提交到？什么是Stage？DAGScheduler的作用是什么?它是如何划分Stage的？本文将基于源码，进行深入分析。
Spark Executor解析
fighting
04-06 1851
目录 1、Spark Executor如何工作 2、Spark Executor工作源码 1、Spark Executor如何工作 当Driver发送过来Task的时候，其实是发送给CoarseGrainedExecutorBackend这个RPCEndpoint，而不是直接发送给Executor（Executor由于不是消息循环体永远也无法接收远程发过来的信息）。 Driver向...
Spark技术内幕: Task向Executor提交的源代码解析
weixin_33915554的博客
03-19 133
在上文《Spark技术内幕：Stage划分及提交源代码分析》中，我们分析了Stage的生成和提交。可是Stage的提交，仅仅是DAGScheduler完毕了对DAG的划分，生成了一个计算拓扑，即须要依照顺序计算的Stage，Stage中包括了能够以partition为单位并行计算的Task。...
spark任务在executor端的运行过程分析
cnmeimei的博客
07-04 1297
CoarseGrainedExecutorBackend 上一篇，我们主要分析了一次作业的提交过程，严格说是在driver端的过程，作业提交之后经过DAGScheduler根据shuffle依赖关系划分成多个stage，依次提交每个stage，将每个stage创建于分区数相同数量的Task，并包装成一个任务集，交给TaskSchedulerImpl进行分配。TaskSchedulerImpl则会根据SchedulerBackEnd提供的计算资源（executor），并考虑任务本地性，黑名单，调度池...
Spark编程中函数的传递
大数据吧唧吧唧
09-26 219
Spark 进行编程的时候, 初始化工作是在 driver端完成的, 而实际的运行程序是在executor端进行的. 所以就涉及到了进程间的通讯，下面的实例演示函数的传递 import org.apache.spark.{SparkConf, SparkContext} import org.apache.spark.rdd.RDD object SerDemo { def mai...
SparkCore：序列化问题
Zeroowt的博客
02-20 309
第一种情况 假设我们数据需要与规则数据进行匹配，在Class中定义规则，此时不对它进行序列化。 Class Rules { val rulesMap = Map("hadoop" -> 1, "spark" -> 2) val hostname = InetAddress.getLocalHost.getHostName println(hostname + "@@@@@@@@@@@...
Spark任务提交执行全流程详解
weixin_43637653的博客
11-15 1982
** 任务提交执行流程 ** Spark任务的本质是对我们编写的RDD的依赖关系切分成一个个Stage，将Stage按照分区分批次的生成TaskSet发送到Executor进行任务的执行 Spark任务分两种： 1、shuffleMapTask：shuffle之后的task 2、resultTask：shuffle之前的task Spark任务分配有两种方式： 1，尽量打撒方式（系统默认） 2，尽...
Spark3.x入门到精通-阶段三(深度剖析spark处理数据全流程)
S1124654的博客
07-07 1724
Spark3.x入门到精通-阶段三(深度剖析spark处理数据全流程)
Spring的任务执行器（TaskExecutor）和任务调度器（TaskScheduler）
zzy7075的专栏
09-09 1万+
一、任务执行和调度（Task Execution and Scheduling） 1、介绍 Spring框架使用TaskExecutor和TaskScheduler接口分别为异步执行和任务调度提供抽象。Spring还提供了那些接口的实现，这些接口在应用服务器环境中支持线程池或委托给CommonJ。最终，在公共接口背后使用这些实现抽象出了Java SE 5、Java SE 6和Java EE环境之间的差异。 Spring还提供集成类，用于支持使用计时器(JDK sin...
TaskExecutor和ExecutorService的简单整合
持续Java学习中
07-15 1800
自己负责的项目想通过引入一个中间件，达到在业务场景维度的全链路日志监控。当接入相关中间件后，发现如果在业务中开启了多线程，链路日志就会缺失。当然，该中间件官方给出了解决办法，那就是使用中间件提供的工具类对线程池包装一下（TrackTraceHelper.wrappedExecutorService(executorService)）就可以解决。当然这个问题确实解决了，但我们还存在以下几个问题： 问题一：项目原本使用的线程池是Spring的ThreadPoolTaskExecutor，在其setTaskDe
Spring基础学习-任务执行（TaskExecutor及Async）
热门推荐
icarusliu的专栏
03-12 3万+
在做项目过程中，一些耗时长的任务可能需要在后台线程池中运行；典型的如发送邮件等，由于需要调用外部的接口来进行实际的发送操作，如果客户端在提交发送请求后一直等待服务器端发送成功后再返回，就会长时间的占用服务器的一个连接；当这类请求过多时，服务器连接数会不够用，新的连接请求可能无法得到满足，从而导致客户端连接失败。因此这类服务一般需要使用到后台线程池来处理。 在这种情况下，我们可以直接使用concu...
异步编程 - 08 Spring框架中的异步执行_TaskExecutor接口和@Async应用篇
小工匠
09-07 1万+
在Spring Framework中分别使用TaskExecutor和TaskScheduler接口提供异步执行和任务调度的抽象。这里我们着重了解基于TaskExecutor支撑的注解@Async是如何实现异步处理的。@Async 底层原理：就是通过线程池创建一个线程，然后去执行业务逻辑。@Async 注解会应用默认线程池 SimpleAsyncTaskExecutor这种TaskExecutor接口的实现不会复用线程，对应每个请求会新创建一个对应的线程来执行。
Spark YarnCluster 模式源码解析：Executor 向 Driver 注册
"这篇文章是关于Spark在YarnCluster模式下的任务提交源码分析的第二部分，作者通过深入Spark 2.1.1的源码，详细解析Executor端的注册过程。文章适合对Spark源码有兴趣并有一定基础的读者，预计阅读时间30分钟。作者...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

蒙奇·D·路飞-

感谢老板您就是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值