Spark启动流程

已于 2022-09-14 15:36:06 修改
阅读量1k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 数据仓库技术体系 文章标签： spark 大数据 分布式
于 2022-09-14 12:10:29 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/chenshijie2011/article/details/126748730
本文介绍了Spark通过Spark-submit提交Application后，在Yarn运行模式下的启动流程。从Driver生成SparkContext，到DAGScheduler和TaskScheduler的创建，再到资源调度算法的运用，详细解析了Executor的启动以及Task的执行过程。当遇到action操作时，Spark会生成job，DAGScheduler划分stage，并由TaskScheduler将Task发送给Executor执行，最终完成任务。

在这里插入图片描述

  1. Spark-submit 提交 Application
  2. Spark on Yarn运行模式 ，产生Driver
  3. Driver 会生成一个SparkContext 对象sc , sc 会创建两个对象 分别为DAGScheduler 对象和 TaskScheduler 对象
  4. sc 去向ClusterManager 进行注册 , 并申请资源
  5. CM 向Worker 分配资源 【资源调度算法】
  6. Worker 启动了executor , executor 中有线程池
  7. executor 向 Driver 反向注册 ，等待task任务提交
  8. sc 初始化完成 ，执行接下来的代码遇到一个action ， 就会产生一个job 任务
  9. DAGScheduler 会根据RDD 的宽窄依赖关系 ，划分stage ，给TaskScheduler 发送TaskSet (包含多个task)
  10. TaskScheduler 将Task 序列化后发送给executor
  11. executor 反序列化Task 对象 ，然后线程池启动Task 任务
  12. 执行完成后，sc注销资源
spark启动过程
04-28
本文详细的描述了spark 的启动过程，帮助你快速了解spark
精选资源
Spark启动过程中遇到的错误 ./spark-shell –master spark://node001:7077
01-20
在尝试启动Spark Shell时，你遇到了一个特定的错误，该错误与Spark的内存配置有关。在你的描述中，错误信息明确指出系统内存259522560字节（约245MB）必须至少为471859200字节（约448MB），这意味着Spark在启动时...
spark启动流程
weixin_42610333的博客
12-08 980
spark概览 ​ Spark应用程序在群集上作为独立的进程集运行,可以部署在不同环境的集群上，包括(yarn,mesos,standalone,etc…). 由driver中的SparkContext对象协调,这涉及到大概以下环节 用户client端提交应用程序，根据不同环境启动不同的client端。 sparkContext初始化 执行用户程序(job提交，RDD划分statge，生成task) 资源申请 executor注册 makeoffer executor执行 yarn-cluste
如何启动spark
最新发布
2401_87586917的博客
10-16 182
三台机子同时进行：jps。出现以上图案即启动成功。
spark启动流程1
longlovefilm的博客
12-04 1358
1 standalone模式 1.Driver端启动SparkSubmit进程，启动后开始向Master进行通信，此时创建了一个对象（SparkContext），接着向Master发送任务消息 2.Master接收到任务信息后，开始资源调度，此时会和所有的Worker进行通信，找到空闲的Worker，并通知Worker来拿取任务和启动相应的Executor 3.Executor启动后，开始与Driver进行反向注册，接下来Driver开始把任务发送给相应的Executor，Executor开始计算任.
第五：Spark启动！
2301_77834805的博客
03-06 2241
一.什么是SparkSpark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。是加州大学伯克利分校AMP实验室（Algorithms, Machines, and People Lab）开发的通用内存并行计算框架Spark得到了众多大数据公司的支持，这些公司包括Hortonworks、IBM、Intel、Cloudera、MapR、Pivotal、百度、阿里、腾讯、京东、携程、优酷土豆。当前百度的Spark已应用于大搜索、直达号、百度大数据等业务；
Spark入门实战系列--4.Spark运行架构
yirenboy的专栏
08-19 6294
Spark注重建立良好的生态系统，它不仅支持多种外部文件存储系统，提供了多种多样的集群运行模式。部署在单台机器上时，既可以用本地（Local）模式运行，也可以使用伪分布式模式来运行；当以分布式集群部署的时候，可以根据自己集群的实际情况选择Standalone模式（Spark自带的模式）、YARN-Client模式或者YARN-Cluster模式。
Spark启动过程遇到的问题 spark-shell start –master node001:7077
10-13
在尝试启动Spark Shell时，你遇到了一个关于Spark内存配置的异常信息。该错误表明系统内存2,45MB必须至少为4.48GB才能支持Spark运行。这提示你需要增加Driver和Executor的内存设置来解决这个问题。你可以通过以下...
Spark集群的启动流程
CyAurora的博客
08-10 1224
( 1 )、调用start-all.sh开始创建Master对象，启动了一条Master进程。然后，执行preStart生命周期方法，开启一个定时器定期检测超时的worker节点；如果发现超时的worker节点，则将其移除。 ( 2 )、脚本会解析slaves配置文件,找到启动Worker的相应节点,开始启动Worker ( 3 )、Worker服务启动后开始调用preStart方法开始向所有的Master进行注册 ( 4 )、Master接收到Worker发送过来注册信息,Master开...
Spark-Task启动流程
lu070828的博客
08-28 951
1、任务调度器提交Task2、Driver端计算每个Task应该往哪个Executor移动3、序列化Task描述信息4、Driver向Executor发送 LaunchTask 消息5、Executor对Task描述信息进行解码，并转交给自己的Executor对象处理任务6、Executor对象将Task描述信息封装成TaskRunner线程交由threadPool线程池处理。
Spark-环境启动
lu070828的博客
08-16 1780
从start-all.sh开始捋，一直捋到Master、Worker的启动并建立通信。
Spark 的运行流程原理
LongHai_Zheng的博客
08-21 2105
## Spark Worker工作机制 ## 一、worker 进程的启动 1、Driver 与Executor 的启动过程 二、Worker 启动Driver 1、Cluster 中的Driver 失败的时候，如果supervise为true ，则启动该Driver 的Worker 会负责重新启动该Driver; 2、DriverRunner 启动进程是
Spark服务启动的一些总结
weixin_33672400的博客
05-07 401
1、我理解常用的Spark部署方式有三种 1）、本地服务，就是所谓的local，在IDE上本地跑程序，用于调试 2）、Standalone，使用自己的master/worker进行服务的调度。  脱离yarn的资源管理 3）、Spark on yarn。 使用yarn来进行资源的调度 2、在spark-env.sh中配置export HADOOP_CONF_DIR= ，这样就可以使用hdf...
Spark启动及提交流程内部核心原理剖析
zjjcchina的博客
03-23 348
Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎，并且拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于需要迭代MapReduce的算法。接下来带大家探索一下Spark启动及提交流程的内部核心原理。 Netty 在探索Spark启动及提交流程的内部核心原理之前，我们得先简单介绍一下Spark内部的通信框架----Netty Spark中通信框架的发展：
spark源码分析Master与Worker启动流程篇
那年的坏人的专栏
04-19 4145
spark通信流程 概述 spark作为一套高效的分布式运算框架，但是想要更深入的学习它，就要通过分析spark的源码，不但可以更好的帮助理解spark的工作过程，还可以提高对集群的排错能力，本文主要关注的是Spark的Master的启动流程与Worker启动流程。 现在Spark最新版本为1.6，但是代码的逻辑不够清晰，不便于理解，这里以1.3为准Master启动我们启动一个Mast
Spark Rpc的启动过程(其实也就是集群的启动过程)
吟啸徐行
06-25 1099
Spark RPC在2.0之后是完全基于Netty实现的RPC，主要核心组件有: RpcEnv、RpcEnvFactory、RpcEndpoint、RpcEndPointRef(对应到Netty的实现就是NettyRpcEnv、NettyRpcEnvFactory、NettyRpcEndpoint、NettyRpcEndPointRef)。当然还有一些其他组件，我们这里不涉及了，关于底层传输后期在
Spark集群启动流程
知其然，知其所以然
03-22 1218
美图欣赏： 一.Spark集群启动流程图 （1）Spark集群启动流程: 1、调用start-all.sh脚本 ,开始启动Master 2、Master启动以后, preStart方法调用了一个定时器,定时的检查超时的Worker.（定时器默认时间为60s） 3、启动脚本会解析slaves配置文件,找到启动Worker的相应节点,开始启动Worker 4、Worker服务启动后开始调用pre...
[Spark基础]--Spark启动过程（针对standalone）-spark-1.6.0
欢迎来到我的博客，一起探索代码里的世界！
07-19 824
Spark启动过程正常启动Spark集群时往往使用start-all.sh ，此脚本中通过调用start-master.sh和start-slaves.sh启动mater及workers节点。1、启动Master(1)注册SignalLogger日志记录器(2)创建名称为master的Actor 并启动，在启动master之前会：     a). 加载Spark环境变量     b). 创建wor...
spark启动全过程
04-30
### Apache Spark 启动全过程详解 Apache Spark 的启动过程涉及多个组件之间的交互，主要包括集群管理器的选择、Driver 和 Executor 的初始化以及资源分配等阶段。以下是 Spark 启动过程的技术细节： #### 1. 集群...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

科学的N次方

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值