spark运行流程

于 2025-01-26 10:55:16 发布
阅读量879 收藏
点赞数 2
分类专栏： 大数据 文章标签： spark 大数据 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/m0_51192710/article/details/145366614
版权

spark运行流程

在这里插入图片描述

  1. 任务提交后，先启动 Driver 程序
  2. 随后 Driver 向集群管理器注册应用程序
  3. 集群管理器根据此任务的配置文件分配 Executor 并启动
  4. Driver 开始执行 main 函数，Spark 查询为懒执行，当执行到 Action 算子时开始反向推
    算，根据宽依赖进行 Stage 的划分，随后每一个 Stage 对应一个 Taskset，Taskset 中有多个 Task
  5. 查找可用资源 Executor 进行调度
  6. 根据本地化原则，Task 会被分发到指定的 Executor 去执行
  7. 任务执行的过程中，Executor 也会不断与 Driver 进行通信，报告任务运行情况
    进行通信，报告任务运行情况
大数据之Spark运行流程
weixin_43339889的博客
04-22 756
Spark On Yarn两种模式的运行流程
hive on spark 执行流程_3. Spark原理-执行流程解析
weixin_39922394的博客
01-11 1123
概念Job当在RDD上执行Action操作时就会提交一个Job。这个Job会将RDD分为多分，并将每份RDD提交到集群执行。Stage当一个Job提交后将分解为多个Stage。Task一个Stage可分解为多个Task。Task分为Shuffle map Task和Result Task。其中Shuffle map Task任务是将一个现有的RDD转化为一个新的RDD。Result Task在RD...
Spark简介及运行流程图文解说
weixin_42163700的博客
06-20 3259
初识Spark的朋友 ，下面是我汇总后的Spark总结和自己整合的一张流程图，希望可以帮助到你，也可以给我提出建议，一同进步1.认知Spark：Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架，最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一。Spark提供了一个全面、统一的框架用于管理各种有着不同性质（文本数据、图表...
Spark运行流程
qq_42160456的博客
05-18 3081
1、任务调度流程 1、当一个spark任务提交的时候，首先需要为spark application创建基本的运行环境，也就是在Driver创建sparkContext，同时构建DAGScheduler和TaskScheduler 2、SparkContext向资源管理器申请exector运行资源 3、资源管理器为exector分配资源并创建exector进程，exector的运行状况通过心跳机制向资源管理器进行汇报 4、sparkContext根据RDD的依赖关系构建DAG图，构建完毕后，将DAG图提交给
spark运行过程解析
starkpan的博客
01-25 260
1、懒执行 数据从源头到处理，并不是每一步操作都会立刻执行。在spark操作方法中，分为Transformation与Action两类操作。     transformation：一个方法由RDD调用，执行后产生另一个RDD。     Action：一个方法由RDD调用，执行后不是产生另一个RDD，而是产生一个非RDD的结果，例如collect，count。 Transformation方...
【Spark精讲】Spark任务运行流程
话数Science
12-12 4419
Spark精讲，Spark任务运行流程，Spark任务执行流程，client模式，cluster模式，yarn-client模式，yarn-cluster模式，master参数
spark运行基本流程
qq_43252073的博客
03-26 457
第一步： 第二步： 第三步： 第四步：
Spark执行流程（详细）
不二先生的笔记
08-04 5359
大体执行流程 1.driver执行main方法（懒执行），action算子触发触发job 2.根据宽窄依赖划分stage 3.每个stage会被整理成taskset(包含多个task)4.每个task分发到具体的Executor去执行 完整调度流程 1.当Driver启动的时候，初始化时会相应的创建DagScheduler、TaskScheduler 2.TaskScheduler初始化的时候，会创建SchedulerBacked(主要负责集群之间的通讯) 3.Sc...
Spark 执行流程.xmind
01-08
Spark从提交任务到执行完成,主要包括:Driver初始化->Stage划分->Task调度->Shuffle处理->结果输出五大关键环节,适合大数据开发者学习。
Spark任务执行流程与运行架构
qq_25073261的博客
08-13 902
1.Spark的执行流程 1、说明 (1)构建Spark Application的运行环境（启动SparkContext），SparkContext向资源管理器（可以是Standalone、Mesos或YARN）注册并申请运行Executor资源； (2)资源管理器分配Executor资源并启动StandaloneExecutorBackend，Executor运行情况将随着心跳发送到资源管理器上； (3)SparkContext构建成DAG图，将DAG图分解成Stage，并把Taskset发送给Task
spark运行的基本流程
京东科技开发者
07-02 1624
Stage的DAG通过最后执行Stage为根进行广度优先遍历， 遍历到最开始执行的Stage执行， 如果提交的Stage仍有未完成的父母Stage， 则Stage需要等待其父Stage执行完才能执行。我们都知道， spark计算模型是在分布式的环境下计算的， 这就不可能在单进程空间中容纳所有的计算数据来进行计算， 这样数据就按照Key进行分区， 分配成一块一块的小分区， 打散分布在集群的各个进程的内存空间中， 并不是所有计算算子都满足于按照一种方式分区进行计算。进程，对整个集群进行控制。
Spark提交作业运行过程
leishenop的专栏
09-11 1140
背景 最近在学习Spark源码方面的知识，在这里大概了解了Spark整体的运行过程，从初始化到最终的底层运行。今天在这里进行详细的记录一下。一边以后的回顾和学习。Spark程序运行整体流程当SparkContext初始化完之后，我们通常会使用它来读取外部的数据，使之形成RDD。然后我们会经过一些列的RDD操作之后，到最后一个Action操作。从而触发了Job的提交。在Spark中RDD操作分为两种:
Spark运行基本流程-----学习笔记
PeixinYe的博客
03-23 871
1、首先构建基本运行环境：Driver创建一个SparkContext，进行资源的申请、任务的分配和控制；（Shell中不需要构建，系统会自动生成一个SC）2、资源管理器为Executor分配资源，并启动Executor进程；3、SparkContext根据RDD的依赖关系构建DAG图，DAG图提交给DAGScheduler解析成Stage，然后把一个个TaskSet提交给底层调度器TaskSch...
Spark运行原理
hellozhxy的博客
09-18 1484
Spark应用程序以进程集合为单位在分布式集群上运行，通过driver程序的main方法创建的SparkContext对象与集群交互。 1、Spark通过SparkContext向Cluster manager(资源管理器)申请所需执行的资源（cpu、内存等） 2、Cluster manager分配应用程序执行需要的资源，在Worker节点上创建Executor 3、SparkContext 将程序代码（jar包或者python文件）和Task任务发送给Executor执行，并收集结果给Driver。
第36课：Spark中Job执行过程详解
zhumr的专栏
09-14 4093
第36课：Spark中Job执行过程详解
第一部分：Spark基础篇
index_test的博客
09-05 7426
Spark基础篇包含：job运行流程、任务提交阶段、运行原理、与MR的区别、RDD、DAG、算子类等知识点
Spark 的运行流程？
weixin_45422672的博客
01-01 415
Spark 是一个分布式计算框架，用于处理大规模数据集。
Spark的运行流程详解
Lyy1016的博客
07-29 1599
一、Spark提交应用任务的四个阶段： 总共提交的任务分为四个阶段，提交+执行： 1、在分配完毕executor以后，解析代码生成DAG有向无环图； 2、将生成的DAG图提交给DAGScheduler，这个组件在driver内，DAGScheduler负责切分阶段，按照DAG图中的shuffle算子进行stage阶段的切分，切分完毕阶段以后，按照每个阶段分别生成对...
Spark 执行流程
最新发布
04-24
### Apache Spark 执行流程详解 #### 1. SQL 解析阶段 当用户通过 Spark 提交一条 SQL 查询时，SQL 首先进入解析器 (Parser)，该解析器会将字符串形式的 SQL 转换为逻辑计划 (Logical Plan)[^1]。此阶段的主要目标是验证语法正确性和语义一致性。 #### 2. Analyzer 阶段 经过解析后的逻辑计划会被传递到 Analyzer 组件，在这里会对表名、列名以及数据类型进行绑定操作，并解决未解析的对象引用问题。Analyzer 还负责处理视图展开和其他元数据查询工作[^1]。 #### 3. Optimizer 阶段 优化器 (Catalyst Optimizer) 接收来自 Analyzer 的分析完成的逻辑计划并对其进行一系列代数变换来生成更高效的物理执行方案。这些转换可能包括但不限于谓词下推、常量折叠、投影裁剪等技术手段以减少不必要的计算开销。 #### 4. Physical Planning Stage 在这个阶段中, Catalyst 将抽象出来的最佳逻辑执行路径转化为具体的 RDD 或 Dataset/DatFrame API 调用序列即所谓的 “SparkPlan”。这一步骤定义了如何实际地分布于集群之上运行作业的任务分配策略[^1]。 #### 5. Stages 划分与调度 为了提高效率和容错能力,SparK 把整个应用程序拆分成若干个小部分或者说是 stages 来分别处理不同的输入分区集合。如果存在 shuffle 操作，则意味着需要创建一个新的 stage ，因为只有当前面所有的 map 输出都已准备好之后才可以开始 reduce 计算[^3]。 #### 6. Task Execution 最后由 scheduler 向 worker 发送 task 请求去执行相应的 transformation 和 action 。每个 executor 上都会启动一定数量的核心用于并发执行 tasks [^2]。 ```python from pyspark.sql import SparkSession # 创建 Spark Session 实例 spark = SparkSession.builder.appName("example").getOrCreate() # 加载数据集 df = spark.read.format("csv").option("header", "true").load("/path/to/data") # 注册临时视图表以便后续查询使用 df.createOrReplaceTempView("table_name") # 编写 SQL 并触发执行 result_df = spark.sql(""" SELECT column_a, SUM(column_b) AS sum_b FROM table_name GROUP BY column_a """) # 展示结果 result_df.show() ``` 以上代码片段展示了从加载 CSV 文件作为 DataFrame 开始到最后展示聚合结果的过程。它涵盖了 Spark SQL 中涉及的关键步骤：读取外部存储中的数据源；注册成可供 SQL 查找使用的虚拟关系型数据库对象；编写标准结构化查询语言表达式来进行数据分析任务；最终呈现汇总统计信息给终端使用者查看。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值