Spark提交任务的几种方式

最新推荐文章于 2024-02-05 11:55:56 发布
原创 最新推荐文章于 2024-02-05 11:55:56 发布 · 385 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细介绍了Spark在本地单机、standalone集群、YARN模式下driver的部署方式，并对比了client和cluster模式。理解这些配置对于Spark应用的部署至关重要。

目录

 

1.本地单机

2.standalone集群模式 driver在本地

3.standalone集群模式  driver在集群

4.yarn模式 driver在本地

5.yarn模式 driver在集群

1.本地单机


/bin/spark-submit \
        --master local[*] \

2.standalone集群模式 driver在本地


/bin/spark-submit \ 
        --master spark://mode1:7077 \
        --deploy-mode client \
        ...
        


3.standalone集群模式  driver在集群


/bin/spark-submit \
        --master spark://mode1:7077 \
        --deploy-mode cluster \
        ...
        

4.yarn模式 driver在本地


/bin/spark-submit \
        --master yarn-client \
        ...
等价于
/bin/spark-submit \
        --master yarn \
        --deploy-mode client \


5.yarn模式 driver在集群


/bin/spark-submit \
        --master yarn-cluster \
        ...
      
等价于
/bin/spark-submit \
        --master yarn \
        --deploy-mode cluster \
        ...


 

Spark【使用篇】01：单词计数【Scala代码和Java代码实现以及任务提交的几种方式】
weixin_40612128的博客
03-08 2693
Spark【使用篇】01：单词计数【Scala代码和Java代码实现以及任务提交的几种方式】
Spark作业提交
jpfx6008的博客
08-11 1353
角色作用Master管理集群和节点，不参与计算。Driver一个Spark作业运行时包括一个Driver进程，也是作业的主进程，具有main函数，并且有SparkContext的实例，是程序的入口点。负责向集群申请资源，向master注册信息，负责了作业的调度，负责作业的解析、生成Stage并调度Task到Executor上。包括DAGScheduler，TaskScheduler。Woker主要功能：管理当前节点内存，CPU的使用状况，
Spark的三种提交方式（基于IDEA）
Devin
12-01 657
0、创建了一个Maven工程 将一些暂时无关的文件和文件夹删除掉，主要有 main\java, main\resources 和 test 这三个； 将Scala的框架添加到这个项目中，方法是在左侧栏中的项目名称上右键菜单中点击Add Framework Support…，然后在打开的对话框左侧边栏中，勾选Scala前面的复选框，然后点击确定即可（前提是上文中所述步骤都已正确走通，否则你很有可...
大数据之 Spark 提交作业的方法
代妈炼金术师
02-05 654
Apache Spark 提交作业可以通过命令行或通过编程方式进行。
Spark学习之路 （七）Spark 运行流程
weixin_33901843的博客
04-25 303
一、Spark中的基本概念 （1）Application：表示你的应用程序 （2）Driver：表示main()函数，创建SparkContext。由SparkContext负责与ClusterManager通信，进行资源的申请，任务的分配和监控等。程序执行完毕后关闭SparkContext （3）Executor：某个Application运行在Worker节点上的一个进程，该进程负责运行...
spark提交任务的三种的方法
helloxiaozhe的博客
04-25 9909
spark提交任务的三种的方法 在学习Spark过程中，资料中介绍的提交Spark Job的方式主要有三种： 1、使用spark 自带的spark-submit工具提交任务 通过命令行的方式提交Job,使用spark 自带的spark-submit工具提交，官网和大多数参考资料都是已这种方式提交的，提交命令示例如下： ./spark-submit --class com.learn.spark.SimpleApp --master yarn --deploy-mode client --driver-
Spark任务提交至YARN运行的3种方式与Mapreduce提交任务的几种形式
xby18772963985的博客
01-06 2620
Spark作为新一代计算平台的闪亮明星，在我们的大数据平台中具有非常重要的作用，SQL查询、流计算和机器学习等场景都能见到它的身影，可以说平台应用的数据处理、计算和挖掘等场景都可以使用Spark进行开发。在默认的情况下，如果想向Spark提交计算任务，通常会使用Spark提供的Spark-Submit脚本来提交含有业务逻辑的jar文件程序。这种方式虽然简单，但有悖于服务化的设计理念，所以需要为Spark提供一套任务管理的RESTful服务。 在大数据平台中，Spark是以Spark on YARN的方式运行
Spark三种提交任务模式
TT-Learning
12-07 826
文章目录1.Standalone2.Yarn-Cluster3.Yarn-Client 1.Standalone 任务提交流程： Spark-Submit 提交任务给 Master； Master 收到任务请求后，通过 LaunchDriver 向合适的 Worker 请求启动 Driver； Worker 收到请求后启动 Driver； Driver 启动后向 Master 注册用户App信息； Master 收到 App 信息后根据资源的情况向 Worker 发送 launchExecutor 启动
Spark任务提交流程(整理版)
不积跬步无以至千里
05-26 2152
一、client提交任务到RM. 二、RM启动AM. 三、AM启动Driver线程, 并向RM申请资源. 四、RM返回可用资源列表. 五、AM通过nmClient启动Container, 并且启动ExecutorBackend后台进程. 六、Executor反向注册给Driver 七、Executor启动任务
spark提交任务的几种方式
fengge18306的博客
05-15 2240
1、Standalone模式两种提交任务方式 1.1、Standalone-client提交任务方式 （1）提交命令： bin/spark-submit \ --master spark://node1:7077 \ --class org.apache.spark.examples.SparkPi \ examples/jars/spark-examples_2.11-2.3.3.jar \ 1000 或者 bin/spark-submit \ --master spark://
spark提交方式
嘿！没错，我是李先生
07-12 280
一、local模式 local：使用一个worker线程本地化运行，完全不并行。 local[n]：用n个worker线程本地化运行，理想状态n应该等于机器cpu核数。 local[*]：使用与逻辑cpu相同数量的线程本地化运行。 二、standalone模式 spark://host:7077，使用指定的spark集群跑任务。web ui：http://host:8080。 1 client模式 测试环境用。 原理： 常用提交脚本： 2 cluster模式 生产环境用，可以设置ha和rdd的高可用，会有一
Spark的五种提交作业方式
log1119的博客
08-25 2894
该文介绍了Spark的五种作业提交方式
spark提交方式总结
泛音青年的博客
05-12 417
spark部署方式： 当用/bin/spark-submit 提交任务时， conf = SparkConf().setAppName(appName).setMaster(master) sc = SparkContext(conf=conf) 一、Local模式： 单机版，不需要依赖Hadoop、Zookeeper等组件。 local: 所有计算都运行在一个线程当中，没有任何并行计算，通常我们在本机执行一些测试代码，或者练手，就用这种模式。 local[K]: 指定使用几个线程来运行计算，比如loca
关于spark任务提交的几种方式
流的博客
04-08 7928
1.Spark当前支持三种集群管理方式 Standalone—Spark自带的一种集群管理方式，易于构建集群。 Apache Mesos—通用的集群管理，可以在其上运行Hadoop MapReduce和一些服务应用。 Hadoop YARN—Hadoop2中的资源管理器。 Tip1: 在集群不是特别大，并且没有mapReduce和Spark同时运行的需求的情况下，用Standalone模式效...
Spark提交任务的方式
彷徨的博客
09-19 4093
提交任务的两个命令 spark-submit 程序执行之后，application就会退出。 spark-shell 会一直占有一个application，手动退出。 ctrl + c  spark-shell  是一个交互式的命令行,主要用于测试。 spark-shell脚本，实际上调用的是spark-submit脚本： spark-shell --master spark://h...
Spark（五）Spark任务提交方式和执行流程
weixin_42073629的博客
10-04 796
一、Spark中的基本概念 （1）Application：表示你的应用程序 （2）Driver：表示main()函数，创建SparkContext。由SparkContext负责与ClusterManager通信，进行资源的申请，任务的分配和监控等。程序执行完毕后关闭SparkContext （3）Executor：某个Application运行在Worker节点上的一个进程，该进程负责运行某些task，并且负责将数据存在内存或者磁盘上。在Spark on Yarn模式下，其进程名称为 CoarseG
Spark各种架构和提交方式的组合
天青色等烟雨 而我在等你
03-12 514
Spark各种架构和提交方式的组合Spark on Yarn架构+Client提交模式spark-submit --master yarn-client --class org.apache.spark.examples.SparkPi spark-1.6.0/lib/spark-examples-1.6.0-hadoop2.6.0.jar 10或者spark-submit --master ya...
spark on yarn 有几种提交方式
最新发布
07-26
Spark on YARN 支持两种主要的作业提交方式：`client`模式和`cluster`模式。这两种模式在执行流程和资源管理方面存在显著差异，适用于不同的使用场景。 #### Client 模式 在`client`模式下，**Driver 进程运行在...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值