spark-driver端流程分析

最新推荐文章于 2023-10-13 11:15:18 发布
原创 最新推荐文章于 2023-10-13 11:15:18 发布 · 1k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细介绍了SparkSubmit命令的工作流程，包括如何通过反射机制构造SparkSubmit对象并执行submit函数，进而创建应用程序所需的运行环境。此外，还深入探讨了doRunMain方法中类加载器的创建过程，以及如何获取和调用主类中的main方法来初始化SparkContext对象。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

SparkSubmit命令执行过程

  1. 通过反射机制把SparkSubmit对象构造出来,自动去执行submit函数
  2. submit: 函数内部执行prepareSubmitEnvironment,准备提交环境,和doRunMain方法
  3. prepareSubmitEnvironment: 创建运行app执行所需的环境
    这里写图片描述
  4. doRunMain:
    a. 新建一个类加载器
    b. 获取自己包中的主类和main方法
    c. 执行main方法
    这里写图片描述
  5. 在main方法中,初始化SparkContext对象
    a. 初始化spark执行环境
    b. 创建TaskScheduer
    c. 创建DAGScheduler
    d. 启动TaskScheduer
    这里写图片描述
  6. 启动TaskScheduer
    a.
  7. 等等
Spark应用程序的结构与驱动程序
日常分享数据分析开发、编程语言内容
12-30 2098
本文深入探讨了Spark应用程序的结构和驱动程序，并提供了一个完整的示例来演示如何编写一个Spark驱动程序。还讨论了性能优化、部署模式、监控和调优以及流处理作业等关键概念。希望本文帮助大家更好地理解Spark应用程序的构建和执行，以及如何应对不同的部署和调优需求。
Spark性能优化实战总结
u014034497的专栏
11-12 1332
如果多表join,存在重复逻辑，可以使用group by + max减少join。hive sql时代 容易有使用临时表，存储下中间数据，避免内存占用过大。但spark sql时代，可以消除临时表，减少多余stage，减少耗时。
spark driver 提交启动流程
帆了个帆的专栏
06-09 1937
向spark集群（standalone）提交作业,我们通常用如下命令 ./bin/spark-submit \ --class org.apache.spark.examples.SparkPi \ --master spark://207.184.161.138:7077 \ --executor-memory 20G \ --total-executor-cores 10...
记一次Spark任务Driver端问题排查
weixin_42486226的博客
04-26 386
Spark任务提交Client模式报错找不到依赖，换成Cluster模式就乖乖听话了，这问题其实很简单。
Spark内核之Driver的工作流程(Stage划分、Task划分、Task调度)
TRX的博客
09-05 3417
fff
Spark 中数据结果传输到 Driver 端
m0_55685698的博客
10-13 988
我们知道将大量数据传输到 Driver 端可能会导致和的问题。这究竟是怎么一回事呢？让我们来一探究竟吧。
Spark的Driver和Executor端代码划分
weixin_43690478的博客
08-10 1337
package sparkStream import org.apache.spark.sql.SparkSession import org.apache.spark.streaming.{Seconds, StreamingContext} import org.apache.spark.streaming.dstream.{DStream, ReceiverInputDStream} object DriverAndExecutorCode { def main(args: Array[Str
Spark总结
czladamling的博客
11-10 370
spark知识总结
对Spark中Driver的小研究
程研板的博客
01-13 1874
目录Standalone模式Yarn模式 driver是进程吗？ 先说结论： 1.Standalone模式中，client是spark-submit进程中开启一个线程，然后通过反射执行driver代码的main方法。cluster是开启DriverWrapper进程来运行driver。 2.Yarn模式，client是spark-submit进程中开启一个线程，然后通过反射执行driver代码的main方法。 cluster是ApplicationMaster进程中通过反射执行driver代码的main方法
Spark的几个基本概念：Driver和Job，Stage
热门推荐
JwLee的专栏
03-01 2万+
Driver Program, Job和Stage是Spark中的几个基本概念。Spark官方文档中对于这几个概念的解释比较简单，对于初学者很难正确理解他们的涵义。官方解释如下（http://spark.apache.org/docs/latest/cluster-overview.html）： Driver Program: The process running the main() func
spark的Driver节点和Executor节点
dsl200970的博客
04-12 6282
1．驱动器节点(Driver) Spark的驱动器是执行开发程序中的 main方法的进程。它负责开发人员编写的用来创建SparkContext、创建 RDD，以及进行 RDD 的转化操作和行动操作代码的执行。如果你是用spark shell，那么当你启动 Spark shell的时候，系统后台自启了一个 Spark 驱动器程序，就是在Spark shell 中预加载的一个叫作 sc 的 Sp
spark算子执行位置研究，driver端？executor端？
zeng6325998的博客
07-24 2965
参考资料 https://cloud.tencent.com/developer/article/1545723 前言 spark算子的执行位置 driver端 还是executor端，这些之前其实没有注意过，最近在学流处理，发现这个还是很重要的，今天专门讲一下，只有好好理解了这些，针对业务才能开发出更好的代码。 具体测试 driver 和executor的作用 driver是运行用户编写Application 的main()函数的地方，具体负责DAG的构建、任务的划分、task的生成与调度等。 ex.
spark入门之spark Driver Web UI
minge_se的博客
01-24 1万+
*注：本文为本人结合网上资料翻译 Apache Spark 2.x for Java developers 一书而来，仅作个人学习研究之用，支持转载，但务必注明出处。 一、概述 本节将提供Spark driver‘s UI的一些重要方面。 我们将在Spark UI上看到我们使用Spark shell执行的作业的统计信息。 在启动spark-shell时，调试信息会给出
spark collect driver端操作
dataastron的博客
05-03 2391
collect是将数据获取到driver端进行操作 foreach是将计算操作推到集群上去分布式执行
spark driver 的功能是什么
weixin_59295776的博客
12-21 5328
1）一个Spark作业运行时包括一个Driver进程，也是作业的主进程，具有main函数，并且有SparkContext的实例，是程序的人口点； 2）功能：负责向集群申请资源，向master注册信息，负责了作业的调度，负责作业的解析、生成Stage并调度Task到Executor上。包括DAGScheduler，TaskScheduler。 ...
spark中executor执行Driver发送的task，放入线程池中执行原理
心如止水 宠辱不惊
07-03 2381
import java.util.concurrent.ExecutorService; import java.util.concurrent.Executors; public class ThreadPool { public static void main(String[] args) throws Exception { ExecutorService pool = Exec
Spark中的Driver和Executor的个人理解
登峰造极胡子球手
05-25 4297
Driver：Driver是Spark中Application也即代码的发布程序，可以理解为我们编写spark代码的主程序，因此只有一个，负责对spark中SparkContext对象进行创建，其中SparkContext对象负责创建Spark中的RDD（Spark中的基本数据结构，是一种抽象的逻辑概念） Driver的另外一个职责是将任务分配给各个Executor进行执行。任务分配的原则主要是就近原则，即数据在哪个Executor所在的机器上，则任务分发给哪个Exectuor。 简单来说就是：Drive.
Spark-Streaming获取applicationId即scala中获取appid
wumiqing1的博客
07-16 4413
问题： Spark-Streaming获取applicationId即scala中获取appid  解决方法：通过SparkListener方法来获取appid，以便可以控制提交完成后的spark作业； 获取代码如下参考：参考红色部分即可！ import org.apache.spark.scheduler.SparkListenerApplicationStart 继承spa
spark的三种模式的详细运行过程
do_what_you_can_do的博客
11-11 1万+
一、Standalone模式 1、使用SparkSubmit提交任务的时候(包括Eclipse或者其它开发工具使用new SparkConf()来运行任务的时候)，Driver运行在Client；使用SparkShell提交的任务的时候，Driver是运行在Master上 2、使用SparkSubmit提交任务的时候，使用本地的Client类的main函数来创建sparkcontext并初始化
spark-sql支持存储过程
最新发布
05-09
存储过程通常涉及在数据库服务器端预存和执行业务逻辑，而Spark SQL更侧重于数据转换和分析任务。不过，用户可能希望模拟类似存储过程的行为，比如封装一系列SQL操作，或者通过代码实现可重用的逻辑。 接下来，我...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值