解析Spark Executor内幕,详解CoarseGrainedExecutorBackend

最新推荐文章于 2024-11-27 10:52:28 发布
原创 最新推荐文章于 2024-11-27 10:52:28 发布 · 1.2w 阅读 · 17 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark #executor #CoarseGrainedExecuto

本文详细探讨了Spark Executor的工作原理，特别是CoarseGrainedExecutorBackend的启动过程和它在Executor实例化、Task执行中的角色。CoarseGrainedExecutorBackend作为Executor运行的进程，负责Executor的注册、与Driver的通信，并通过Executor对象执行Task。启动流程涉及Worker启动ExecutorRunner，通过Linux命令执行CoarseGrainedExecutorBackend的main方法，注册到RpcEnv并触发onStart方法。

Spark Executor工作原理

ExecutorBackend注册

Executor实例化

Executor具体是如何工作的？



 

CoarseGrainedExecutorBackend，粗粒度的ExecutorBackend进程。

Worker为什么要启动另外一个进程？

Worker本身是管理当前机器上的资源，变动资源的时候向Master汇报。有很多应用程序，就需要很多Executor。这样程序之间不会一个奔溃导致所有的都奔溃。

1.在CoarseGrainedExecutorBackend启动时，向Driver注册Executor其实质是注册ExecutorBackend实例，和Executor实例之间没有直接的关系！！！

2.CoarseGrainedExecutorBackend是Executor运行所在的进程名称，Executor才是真正在处理Task的对象，Executor内部是通过线程池的方式来完成Task的计算的。

3. CoarseGrainedExecutorBackend和Executor是一一对应的。

4. CoarseGrainedExecutorBackend是一个消息通信体（其实现了ThreadSafeRpcEndpoint）。可以发送信息给Driver，并可以接收Driver

最低0.47元/天 解锁文章
executor.CoarseGrainedExecutorBackend: RECEIVED SIGNAL TERM
SunnyRivers
07-26 1192
大概的意思就是当把spark.dynamicAllocation.enabled参数设置为true的时候Spark自动根据任务的负载情况增加或减少执行者的数量。当executor空闲时间达到 spark.dynamicAllocation.executorIdleTimeout=60s的时间后，executor会被移除掉。首先程序能够正常运行，只是发现某些executor状态为Dead了，说明该executor被移除了，至于为什么会被移除，就得理解spark的动态分区了，这部分内容请参考。
Spark技术内幕：Executor分配详解
热门推荐
anzhsoft的技术专栏
10-05 4万+
当用户应用new SparkContext后，集群就会为在Worker上分配executor，那么这个过程是什么呢？本文以Standalone的Cluster为例，详细的阐述这个过程。
Spark 任务调度之启动CoarseGrainedExecutorBackend
u011564172的博客
04-09 2万+
介绍CoarseGrainedExecutorBackend的作用及启动流程。
ERROR executor.CoarseGrainedExecutorBackend: RECEIVED SIGNAL 15: SIGTERM
qq_33915826的博客
12-05 6008
Spark提交任务执行遇到如下错误： 1.命令行错误： 2.yarn 日志错误：（yarn日志不知如何获取的请参考上一篇博客 yarn日志打印） ERROR executor.CoarseGrainedExecutorBackend: RECEIVED SIGNAL 15: SIGTERM 19/12/05 11:03:53 INFO netty.NettyBlockTransferService...
Spark CoarseGrainedExecutorBackend的启动
fengshaungme的博客
02-27 1197
1 简介 CoarseGrainedExecutorBackend是Executor的守护进程，用于Executor的创建和维护。CoarseGrainedExecutorBackend在spark运行期是一个单独的进程，我们可以在运行spark的期间，用jps命令查看一下，就可以看到这个进程。 2 代码流程 下面我们就来看一下CoarseGrainedExecutorBackend的启动。源码版...
spark：Executor分配详解
08-01
### Spark：Executor分配详解 #### 一、Spark的资源分配机制概述 在深入探讨Executor的分配之前，我们先从整体上理解一下Spark集群的工作原理。Spark集群架构主要包括以下几个核心组件：SparkMaster（简称Master）...
Spark技术内幕深入解析Spark内核架构设计与实现原理
12-04
《Spark技术内幕深入解析Spark内核架构设计与实现原理》这本书深入探讨了Apache Spark这一分布式计算框架的核心架构和实现机制，旨在帮助读者全面理解Spark的工作原理，并能够有效地利用其进行大数据处理。...
spark中CoarseGrainedExecutorBackend 创建
i6015的专栏
03-27 550
spark的worker收到任务时，在执行fetchAndRunExecutor方式中，执行了ExecutorRunner方法，代码如下： new ExecutorRunner(               appId,             execId,             appDesc.copy(command = Worker.maybeUpdateSSLSettings(a...
spark-core_24:注册RegisterApplication，schedule()分配worker的资源,启动CoarseGrainedExecutorBackend源码分析
luyllyl的博客
05-22 430
基于上文（spark-core_23: TaskSchedulerImpl.start()、SparkDeploySchedulerBackend.start()、CoarseGrainedExecutorBackend.start()、AppClient.start()源码分析）11，AppClient初始化ClientEndpoint初始化时调用tryRegisterAllMasters，触发...
yarn源码分析之CoarseGrainedExecutorBackend
ITBOY_ITBOX博客
06-10 1563
1. CoarseGrainedExecutorBackend -- main:启动当前类的main方法 -- run -- onStart：点击图片中红线部分进行入，找到onstar -- ref.ask[Boolean](RegisterExecutor） -- r...
spark2.3源码分析之CoarseGrainedExecutorBackend
lzf的博客
01-28 1063
概述 CoarseGrainedExecutorBackend向CoarseGrainedSchedulerBackend端发送的消息主要如下： registerExecutor：注册executor。SchedulerBackend在确认execId可以注册后，回复注册成功的消息。 statusUpdate：汇报Executor中运行的task的状态。 CoarseGrainedExec...
spark源码-任务提交流程之-5-CoarseGrainedExecutorBackend
m0_37817767的博客
07-28 639
spark源码
4. spark源码分析（基于yarn cluster模式）-YARN contaienr启动-CoarseGrainedExecutorBackend
LeoHan
10-21 455
通过上一节的分析，我们确定，container中启动的为org.apache.spark.executor.CoarseGrainedExecutorBackend,接下来，我们看下其实现。 def main(args: Array[String]) { var driverUrl: String = null var executorId: String = null var hostname: String = null var cores: Int = 0 va
Spark : 堆外内存不足引发 CoarseGrainedExecutorBackend: RECEIVED SIGNAL TERM
BITDDD小栈
04-19 1万+
一.引言: spark执行任务期间，偶发程序出现Failed，但是任务正常执行结束，查看error日志无程序内报错，只报了ERROR CoarseGraineExcutorBackend: RECEIVER SIGNAL TERM 。于是开始查找问题。 二.排查 任务之前正常执行未出现问题，最近在Excutor端修改代码，增加了Excutor端内存，大概率是因为内存问题导致，查看error日志无结果后，查看节点日志发现物理内存超出限制，导致内存超出的节点被Container Kill掉，于..
spark报错：CoarseGrainedExecutorBackend: RECEIVED SIGNAL TERM
xtsheng123456的博客
06-19 829
CoarseGrainedExecutorBackend: RECEIVED SIGNAL TERM
spark-core_25:Master通知Worker启动CoarseGrainedExecutorBackend进程及初始化源码分析
luyllyl的博客
05-23 1123
承接上文（spark-core_24:AppClient的ClientEndpoint注册RegisterApplication）上文中提到：master调用launchExecutor(){worker.endpoint.send(LaunchExecutor(masterUrl,    exec.application.id, exec.id,exec.application.desc, ex...
ERROR CoarseGrainedExecutorBackend: RECEIVED SIGNAL TERM
最新发布
别人笑我太疯癫，我笑他人看不穿。
11-27 549
看见这个报错不要慌张，这个是你开启了动态伸缩容器，且当这个容器触发了空闲关闭的阈值，默认是60秒，这时候该容器会被删除掉，yarn上就会出现这个错误，你查看driver的标准错误输出会发现类型如下的容器移除信息。如果你的spark on yarn任务正常运行，能得到结果，但是日志中出现了如下的报错。
Spark2.0.2源码分析——CoarseGrainedExecutorBackend的启动
myllxy
03-12 478
上文Spark2.0.2源码分析——Executor 的启动：上篇文章介绍了，executor 的启动，文章最后调用 fetchAndRunExecutor 方法，创建 ProcessBuilder ，用于执行命令启动 CoarseGrainedExecutorBackend，执行命令，调用 CoarseGrainedExecutorBackend 的 main 方法，启动 CoarseGrain...
Spark内存管理深度解析：Executor的堆内与堆外策略
"ApacheSpark内存管理详解" Apache Spark的内存管理是其高效运行的关键，尤其是在处理大规模数据时。Spark 2.1版本中的内存管理机制旨在优化数据存储和计算过程，以提升性能并减少磁盘I/O。理解Spark的内存管理有助...
评论 3
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值