spark的执行过程

最新推荐文章于 2024-07-02 09:36:29 发布
原创 最新推荐文章于 2024-07-02 09:36:29 发布 · 388 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细介绍了Spark应用程序的启动过程，从Driver程序初始化SparkContext开始，到DAGScheduler构造DAG图，再到Driver向ClusterManager请求资源，最后到Worker执行任务的整个流程。深入解析了Spark如何调度和执行任务。

在这里插入图片描述
1、spark应用程序启动（driver）
2、调用spark context初始化配置和输入数据
3、spark context启动DAGSchedule构造DAG图，切分任务
4、Driver向Cluster Manager请求计算资源
5、Cluster Manger根据Driver的主机地址等信息同志集群的所有计算节点Worker
6、Worker收到信息，根据Driver的主机地址，向Driver通信注册，根据本地空闲资源，报告可以领取的任务数
7、Driver根据DAG分配任务给Worker
8、Worker收到任务后，启动Executor执行任务，如果本地没有Driver代码，则下载，通过反射加载执行

龙哥vw
关注
Spark执行流程（详细）
不二先生的笔记
08-04 5442
大体执行流程 1.driver执行main方法（懒执行），action算子触发触发job 2.根据宽窄依赖划分stage 3.每个stage会被整理成taskset(包含多个task)4.每个task分发到具体的Executor去执行 完整调度流程 1.当Driver启动的时候，初始化时会相应的创建DagScheduler、TaskScheduler 2.TaskScheduler初始化的时候，会创建SchedulerBacked(主要负责集群之间的通讯) 3.Sc...
Spark执行流程与原理
Deegue
11-06 7718
  Spark执行计划分析： https://blog.youkuaiyun.com/zyzzxycj/article/details/82704713 ----------- 先贴一张sql解析的总流程图： 第一次看这图可能还不是很理解，先看一个简单sql： select * from heguozi.payinfo where pay = 0 limit 10 当这个sqlText，到...
Spark 的执行过程
朱磊的博客
05-27 674
1，Spark 应用程序启动在自己的 JVM 进程中，即 Driver 进程。启动后 SparkContext 初始化执行配置和输入数据。SparkContext 启动 DAGScheduler 构造执行的 DAG 图，然后切分成最小的执行单位：task。 注：Spark 应用会根据 Action 操作将其划分成多个 job，每个 job 中又会根据 shuffle 动作划分成多个 stage，构...
Spark_任务执行过程
sandra_csdn的博客
09-27 640
spark任务、步骤、作业
【Spark精讲】Spark任务运行流程
话数Science
12-12 4750
Spark精讲，Spark任务运行流程，Spark任务执行流程，client模式，cluster模式，yarn-client模式，yarn-cluster模式，master参数
Spark job 的执行流程简介
10-10 167
Spark 应用程序在提交执行后，控制台会打印很多日志信息，这些信息看起来是杂乱无章的，但是却在一定程度上体现了一个被提交的 Spark job 在集群中是如何被调度执行的，这里将会向大家介绍一个典型的 Spark job 是如何被调度执行的。 我们先来了解以下几个概念： DAG: 即 Directed Acyclic Graph，有向无环图，这是一...
Spark 执行流程.xmind
最新发布
01-08
Spark从提交任务到执行完成,主要包括:Driver初始化->Stage划分->Task调度->Shuffle处理->结果输出五大关键环节,适合大数据开发者学习。
Spark各阶段执行流程简介（图片）
杯莫廷的博客
12-17 1105
Spark各过程详解图 Spark 是美国加州大学伯克利分校的 AMP 实验室（主要创始人 lester 和 Matei）开发的 通用的大数据处理框架。 本文就以下几个小方面来简介一下spark各阶段的流程： 包括Spark启动过程，Spark运行原理框架图，Spark stage阶段划分算法，SparkContext的构建过程，Spark-on-yarn模式讲解，SparkMasterHA机制，...
Spark任务执行流程与运行架构
qq_25073261的博客
08-13 941
1.Spark的执行流程 1、说明 (1)构建Spark Application的运行环境（启动SparkContext），SparkContext向资源管理器（可以是Standalone、Mesos或YARN）注册并申请运行Executor资源； (2)资源管理器分配Executor资源并启动StandaloneExecutorBackend，Executor运行情况将随着心跳发送到资源管理器上； (3)SparkContext构建成DAG图，将DAG图分解成Stage，并把Taskset发送给Task
Spark执行流程详解
qq_42456324的博客
04-29 4985
1、在命令行执行提交命令时，在spark-submit脚本中，调用了SparkSubmit类中的mainMethod.invoke方法，这个类通过反射，调用我们自定义的类。 2、我们自定义类中的main方法开始执行，初始化了SparkConf和SparkContext，在SparkContext对象被初始化的时候，构造出来DAGScheduler和TaskScheduler。 3、Driver端会对我们的代码进行解析，根据算子记录rdd之间的依赖关系，生成DAG有向无环图。 当程序触发action..
Spark 作业执行流程
日常分享数据分析开发、编程语言内容
03-14 5279
Spark 作业执行流程
spark程序执行过程
wuxizhi777的专栏
05-09 1642
这个博客写的比较好： https://blog.youkuaiyun.com/liuxiangke0210/article/details/79687240 https://www.jianshu.com/p/b9ec3c2ff8dd cluster ...
spark的执行流程图解
qq_36382679的博客
09-08 201
spark运行的基本流程
京东科技开发者
07-02 1783
Stage的DAG通过最后执行Stage为根进行广度优先遍历， 遍历到最开始执行的Stage执行， 如果提交的Stage仍有未完成的父母Stage， 则Stage需要等待其父Stage执行完才能执行。我们都知道， spark计算模型是在分布式的环境下计算的， 这就不可能在单进程空间中容纳所有的计算数据来进行计算， 这样数据就按照Key进行分区， 分配成一块一块的小分区， 打散分布在集群的各个进程的内存空间中， 并不是所有计算算子都满足于按照一种方式分区进行计算。进程，对整个集群进行控制。
Spark执行流程
modefrog的博客
03-18 2026
启动流程        我们写的spark程序，打成jar包,用spark-submit来提交；    local模式：当我们的程序提交到集群上时，会加载并执行我们的jar包，并找到jar包中的main函数执行一遍，执行main函数所启动的这个进程名就是SparkSubmit，这个进程就是我们所说的Driver进程；    cluster模式：会在集群中找到一台node，启动一个进程执行一遍我们提...
Spark 执行流程
乐维的专栏
07-22 799
Spark 执行流程 解析 1、我们提交Spark程序通过 spark-submit (shell）提交到Spark集群中我们提交程序后会创建一个Driver进程 2、Driver构造SparkConf 初始化SparkContext ，SparkContext 构建 DAGScheduler和TaskScheduler 3、TaskScheduler 初始化后会调用会去连接Mas...
spark的执行流程
wjn19921104的博客
06-19 637
spark的执行流程:spark的集群 ：master： 1/管理集群，start-all.sh，启动集群，让worker去master 发心跳，上报自己状态，告诉master自己有多少资源（cpu，内存） 2/接受driver的注册。你的程application运行之后，会在driver端，向master进行注册。 3/资源调度，spark程序可以同时的运行很多个application，每...
Spark 应用程序执行流程
哈
08-25 1186
应用程序的执行流程为： 写好的应用程序，打包成jar文件。然后通过客户端上传到集群。根据Driver的配置模式，要么运行在客户端，要么由master指定worker启动driver进程，并对整个应用程序进行监控和管理。接着，配置一些上下文环境。然后顺序执行代码。 RDD的算子包括两大类：一是转换算子，二是行动算子。只有Action算子才会触发Job的提交，也就是说，Spark采用的是惰性机制，在碰到行动算子的时候，才提交作业。接着生成RDD有向无环图DAG，由DAG调度器DAGScheduler转化为阶段
Spark 应用程序的执行过程
RayfunC的博客
01-24 1103
1）构建 Spark Application 的运行环境（启动 SparkContext），SparkContext 向资源管理器（可以是 Standalone、Mesos 或YARN）注册并申请运行 Executor 资源； 2）资源管理器分配 Executor 资源并启动 StandaloneExecutorBackend，Executor 运行情况将随着心跳发送到资源管理器上； 3）Sp...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值