spark的任务提交方式及流程

最新推荐文章于 2025-05-20 21:57:07 发布
原创 最新推荐文章于 2025-05-20 21:57:07 发布 · 711 阅读 · 8 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark #大数据 #yarn

本文介绍了Spark集群的不同模式，包括本地模式、standalone模式（master-worker结构）及其特点，强调了client模式中Driver的角色以及与YARN的对比。特别提到了在cluster模式下，Driver运行位置的变化和资源文件同步的重要性。

本地模式

local

测试用,不多赘述

分布式模式

standalone

standalone集群是spark 自带的一个资源调度集群，分为两个角色，master/worker，master负责接收任务请求、资源调度（监听端口7077），worker负责运行executor

在提交任务前需要将spark集群启动好/start-all.sh，而且它有自己的webUi，http://xx:8080，这种模式下spark是可以不依赖hadoop的

client

Driver 是在 SparkSubmit 进程中

spark-submit任务会等任务结束之后才退出，因为driver负责切分stage，封装task交给executor运行，但是这个任务提交是有先后顺序的，task必须从头到尾依次提交，所以spark-submit任务会等任务结束才退出。

cluster

Driver 是在 Worker 节点上运行

随机挑选一个Worker执行Driver，因此如果你想在driver中使用本地资源文件，你需要保证所有的worker上都有你这个资源文件，或者说使用外部文件系统

yarn

client

Driver 是在 SparkSubmit 进程中

cluster

Driver 是在 ApplicationMaster 进程中

Spark 任务提交流程详解
u012024132的专栏
09-09 809
/ 根据master URL创建对应的TaskScheduler。// Client模式：在客户端启动Driver。// 1. 创建Kubernetes Client。// 1. 创建TaskSetManager管理任务集。// 1. 创建YARN Client。// 3. 创建Driver Service。// 1. 创建ResultStage。// 4. 没有依赖，直接提交。// 5. 先提交父Stage。// 2. 创建Driver Pod。// 2. 创建TaskRunner。
Spark源码系列（五）Spark Submit任务提交
JKerving的博客
07-31 1027
Spark源码系列：Spark Submit任务提交 文章目录Spark源码系列：Spark Submit任务提交客户端任务提交源码解析org.apache.spark.deploy.SparkSubmit总结 前面几篇文章讲的是DAGScheduler，分析的是spark任务提交后的Stage划分。一开始没有想到按照整体任务提交的流程去写系列源码文章，所以还是写博客经验有所欠缺呀。那么从这篇文章开始我们从Spark任务提交开始，研究Spark内部是如何运行的，Spark任务是如何从开始运行到结束的。 Sp
spark-submit 提交任务及参数说明
weixin_33816946的博客
12-20 693
spark-submit 可以提交任务到 spark 集群执行，也可以提交到 hadoop 的 yarn 集群执行。 1. 例子 一个最简单的例子，部署 spark standalone 模式后，提交到本地执行。 ./bin/spark-submit \ --master spark://localhost:7077 \ examples/src/main/python/pi.py...
【spark-submit】--提交任务
2401_88076102的博客
04-10 1025
spark-submit 中参数介绍
Spark提交任务
别人笑我太疯癫，我笑他人看不穿。
11-02 4336
Spark_Submit脚本参数 Spark-submit脚本提交任务时最简易的命令格式如下： ./bin/spark-submit \ --master spark://localhost:7077 \ 任务包 任务参数 而实际开发中用的一般是如下的格式 ./bin/spark-submit \ --master yarn \ --deploy-mode cluster \ --driver-memory 1g \ --executor-memory 1g \ --executor-cores 11
【Spark系列6】spark submit提交任务
安全曼巴2020
08-29 703
根据spark官网，在提交任务的时候指定–jars，用逗号分开。这样做的缺点是每次都要指定jar包，如果jar包少的话可以这么做，但是如果多的话会很麻烦。 spark-submit --master yarn-client --executor-memory 3g --executor-cores 2 --num-executors 2 --jars ***.jar,***.jar(你的jar包
spark任务的提交流程
最新发布
认真学代码的shell
05-20 1473
fill:#333;color:#333;color:#333;fill:none;StandaloneYARNDriverExecutor。
Spark 任务提交流程说明
Small_Ran的博客
07-02 6011
本篇主要阐述 Spark 任务提交的流程，其主要目的在于通过了解 Spark 任务提交可以清楚大概的流程，并知道每一步是做什么；当遇到问题可以快速的知道是什么环节或者哪一步骤出现了问题，及时定位到问题并解决。目前Spark官方支持五中集群管理模式，分别是 Standalone、Yarn、Mesoes、Kubernetes、Amazon EC2 等。本篇文章主要阐述笔者平时经常使用的 Standalone 与 Yarn 集群管理模式。..................
Spark之【任务流程】
xiayuhaisong的博客
02-02 881
Spark的任务提交流程其实跟我们日常大数据部门需求开发流程极其类似。SparkContext相当于我们的产品经理，他会提出需求、确认口径，并且会规划整体的开发计划；资源管理器就是我们数据部门的小组长，他知道组内的开发资源，包括哪个工程师有时间，哪个工程师对需求响应的业务更加了解；Executor更像是我们的开发工程师，不断地向小组长反馈手中的工作量，并且向项目产品经理实时反馈开发进度。
Spark作业提交
jpfx6008的博客
08-11 1325
角色作用Master管理集群和节点，不参与计算。Driver一个Spark作业运行时包括一个Driver进程，也是作业的主进程，具有main函数，并且有SparkContext的实例，是程序的入口点。负责向集群申请资源，向master注册信息，负责了作业的调度，负责作业的解析、生成Stage并调度Task到Executor上。包括DAGScheduler，TaskScheduler。Woker主要功能：管理当前节点内存，CPU的使用状况，
Spark submit 提交任务（四）
RivenDong
07-08 1272
文章目录Spark基于应用作业的操作Spark操作的基础命令与开发工具介绍 Spark基于应用作业的操作 Spark框架可借助spark-submit来提交一个编写好的Job应用到集群，从而完成Spark应用的分析和处理，这通常是生产场景中使用的一种操作方式。 spark-submit --class org.apache.spark.examples.JavaSparkPi --master spark://master002:7077 ../examples/jars/spark-examples_2.
Spark任务提交
m0_51550513的博客
05-08 327
【代码】Spark任务提交。
spark提交任务命令
weixin_44280356的博客
10-21 4310
Spark submit spark-submit 可以提交任务到 spark 集群执行，也可以提交到 hadoop 的 yarn 集群执行。 spark 提交到 yarn 执行的例子如下。 spark-submit --master yarn --executor-memory 20G --executor-cores 2 --driver-memory...
使用spark-submit工具提交Spark作业
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
07-01 4399
大数据实验教学系统使用spark-submit工具提交Spark作业对于数据的批处理，通常采用编写程序、打.jar包提交给集群来执行，这需要使用Spark自带的spark-submit工具。   一般的部署策略是在一个网关机器上提交应用程序，这个机器和Worker机器部署在一个网络中（例如，Standalone模式的集群中的Master节点）。在此部署策略中，client模式更为合适，client模式中的driver直接跟spark-submit进程一起启动，spark-submit进程在此扮演集群中一个c
spark-submit
m0_37055484的博客
02-01 293
spark-submit参数详解
Spark---Master启动及Submit任务提交
yaya_jn的博客
11-27 1926
Spark集群启动之后，首先调用$SPARK_HOME/sbin/start-all.sh，start-all.sh脚本中调用了“start-master.sh”脚本和“start-slaves.sh”脚本，在start-master.sh脚本中可以看到启动Master角色的主类：“org.apache.spark.deploy.master.Master”。每个角色启动之前首先向NettyRpcEnv环境中注册对应的Endpoint，然后启动。
spark-submit提交任务参数解析
Jerry的博客
11-13 2599
导读：spark和yarn整合后，可以将Application提交到Yarn上运行，和StandAlone提交模式一样，Yarn也有两种提交模式。 具体： 1. yarn-client提交任务 配置：在spark目录下的spark-env.sh添加Hadoop_HOME的配置目录即可提交yarn 任务，具体步骤如下： export HADOOP_CONF_DIR=$HADOOP_...
spark任务提交流程
12-27
Spark任务提交流程通常涉及以下几个步骤： 1. **初始化SparkContext**：首先，你需要创建一个`SparkConf`对象，配置Spark应用程序的基本设置，如主应用服务器、JVM选项等。然后，通过`SparkConf`实例创建`...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值