Spark提交指令

最新推荐文章于 2025-06-04 23:00:06 发布

青行灯er

最新推荐文章于 2025-06-04 23:00:06 发布

阅读量517

点赞数

CC 4.0 BY-SA版权

分类专栏：分布式计算

本文链接：https://blog.youkuaiyun.com/Zuostar/article/details/82558056

本文详细介绍了如何使用yarn和standalone两种方式启动spark-shell以及进行spark-submit操作，包括具体指令和流程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

yarn方式启动spark-shell

spark-shell --master yarn-client --driver-memory 8g --num-executors 3 --executor-memory 20g --executor-cores

standalone方式启动spark-shell

spark-shell  --driver-memory 8g --executor-cores 4 --executor-memory 12

最低0.47元/天解锁文章

200万优质内容无限畅学

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

青行灯er

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

spark提交任务命令

北极的企鹅

04-02

3490

### yarn-cluster模式 /home/hduser/spark-2.4.5/bin/spark-submit --name spark_mongodb --master yarn --queue root.experiment --deploy-mode cluster --class 执行类 main函数接收参数 /home/hduser/spark-2.4.5/bin/spark-submit --name spark_mongodb --master yarn --queue root.e

Spark作业提交

jpfx6008的博客

08-11

1235

角色作用Master管理集群和节点，不参与计算。Driver一个Spark作业运行时包括一个Driver进程，也是作业的主进程，具有main函数，并且有SparkContext的实例，是程序的入口点。负责向集群申请资源，向master注册信息，负责了作业的调度，负责作业的解析、生成Stage并调度Task到Executor上。包括DAGScheduler，TaskScheduler。Woker主要功能：管理当前节点内存，CPU的使用状况，

参与评论您还未登录，请先登录后发表或查看评论

大数据Spark（六十一）：Spark基于Standalone提交任务流程

最新发布

Lansonli（蓝深李）的博客

06-04

1726

在Standalone-Client模式中，Driver进程在提交Application的客户端节点上启动，客户端可以查看任务的执行情况和结果。原因在于，当客户端提交大量Application时，所有Driver都在客户端启动，Driver与集群之间存在大量通信，可能导致客户端网络流量激增。：在Standalone-Cluster模式中，Driver进程在集群的某个Worker节点上启动，客户端无法直接查看任务的执行结果，需要通过集群的Web UI查看日志获取结果。

spark提交命令详解

节至

07-16

7946

本片文章主要结合官网的提交说明进行，详情请看http://spark.apache.org/docs/latest/submitting-applications.html ./bin/spark-submit \ --class --master \ --deploy-mode \ --conf = \ ... # other options \ [appl

Spark提交任务的命令

nuc2015的博客

08-28

4340

bin/spark-submit --master spark://master.hadoop:7077,slave1.hadoop:7077 --executor-memory 512mb --total-executor-cores 4 --class nuc.sw.test.ScalaWordCount /root/spark-1.0.jar hdfs://master.hadoop:90...

spark-submit提交命令

古笑来的博客

07-19

365

spark-submit --master yarn --deploy-mode cluster --class didlib.operator.io.HbaseReader --jars scopt.jar,didlib-core.jar,guava-12.0.1.jar,protobuf-java-2.5.0.jar,hbase-server-1.2.1.jar,hbase-client-1.2.1.jar,hbase-common-1.2.1.jar,htrace-core-3.1.0-incubat

Spark

小道的博客

12-10

3929

Spark知识点

flink-spark-submiter:从本地IDEA提交FlinkSpark任务到Yarnk8s集群

04-13

Flink任务、Spark任务提交到集群，通常需要将可执行Jar上传到集群，手动执行任务提交指令，如果有配套的大数据平台则需要上传Jar，由调度系统进行任务提交。对开发者来说，本地IDEA调试Flink、Spark任务不涉及对象...

spark yarn 提交流程

文报的博客

12-09

2099

1.Client向RM提交请求,上传jar包到HDFS上 2.RM在集群中选择一个NM,在其上启动AppMaster，在AppMaster中实例化SparkContext(Driver) 3.AppMaster向RM注册应用程序并申请资源。RM监控AppMaster的状态直到AppMaster结束。 4.AppMaster申请到资源后，与NM通信在Container中启动Executor进程 5.Executor向driver反向注册，申请任务 6.Driver对应用进行解析，最后将Task发送到Exe..

Spark任务提交

m0_51550513的博客

05-08

308

【代码】Spark任务提交。

Spark提交命令和参数调优

薛秋艳的博客

05-29

466

参数意义和参考值： 1.num-executors 线程数：一般设置在50-100之间，必须设置，不然默认启动的executor非常少，不能充分利用集群资源，运行速度慢 2.executor-memory 线程内存：参考值4g-8g,num-executor乘以executor-memory不能超过队列最大内存，申请的资源最好不要超过最大内存的1/3-1/2 3.executor-cores 线程CPU core数量：core越多，task线程就能快速的分配，参考值2-4，num-execu.

spark任务提交命令

Eric

06-30

641

记录一把spark on yarn模式任务提交，方便以后使用,资源大佬们可根据实际需求自行调整 #!/usr/bin/env bash . /etc/profile . ~/.bash_profile spark-submit \ --master yarn-cluster \ --class XXX.XXX.XXX\ --jars /data/batchJob/lib/hbase-server-1.0.0-cdh5.4.4.jar,/data/batchJob/lib/htrace-core-3.0.4

提交spark任务命令

James_bobo的博客

12-31

549

打jar包命令 sbt package 运行命令 spark-submit --class com.qbao.ml.tide.model.TideProcess --num-executors 100 --driver-cores 16 --driver-memory 16g ml-spark_2.10-1.0.jar 1 0 >>./ExecuteTide.log 2>&amp...

Spark部署模式与作业提交

wenqi

06-01

982

Spark部署模式及作业提交

Spark：对于提交命令的理解

不花的花和尚的博客

06-26

925

如何使用spark-submit将打包好的jar提交到Spark上运行？打开终端，在终端中输入spark-submit --help, 可以查看spark-submit的详细帮助。下面说一下 spark-submit 的详细帮助。 (1) --class 指向程序中的主类。例如：--class "helloworld" (2) --master 是指集群的master URL。举个例子，在本地运行就可以这样写： local模式： - -master local /...

11 个例子讲清spark提交命令参数

一个8年大数据开发工程师的碎碎念

07-08

3173

Apache Spark 提供了丰富的参数配置选项，以适应不同的部署环境、优化性能和管理资源。这些参数涵盖了从基本的集群设置（如 --master 和 --deploy-mode）到高级的资源分配（如 --executor-memory 和 --num-executors）。Spark 的参数多样性使其能够在各种场景下灵活调整，包括动态资源分配、GPU 支持和自定义日志配置等高级功能。有效的参数调整需要深入了解集群资源、工作负载特性，并遵循最佳实践。

spark中spark-submit提交样例及参数说明

爱折腾的小土豆的博客

07-01

5613

当我们使用像Yarn这样的集群管理器运行spark应用程序时，会有几个守护进程在后台运行，如NameNode，Secondary NameNode，DataNode，JobTracker和TaskTracker等。这是一种很有前景的部署模式。5.如果资源不变，你的RDD只有2个分区，那么同一时刻只有2个task运行，其余18个核空转，造成资源浪费。上面涉及到Spark的许多部署模式，究竟哪种模式好这个很难说，需要根据你的需求，如果你只是测试Spark Application，你可以选择local模式。

Spark yarn模式任务提交

奥特曼-QM的博客

11-13

568

1. Spark yarn模式任务提交 Spark yarn模式任务提交有两种，Yarn-cluster,Yarn-client，默认client 1.1 名词简介 1. ResourceManager 是集群所有应用程序的资源管理器，能够管理集群的计算资源并为每个Application分配，它是一个纯粹的调度器。 2. NodeManager 是每一台slave机器的代理，执行应用程序，并监控应...

spark的提交方式

02-06

### 提交Spark应用程序的方法 #### 使用 `spark-submit` 命令提交应用编写好的 Spark 程序通常通过 `spark-submit` 指令提交至 Spark 集群执行[^1]。此命令允许用户指定一系列参数来控制资源分配和其他行为。 #### 参数说明可以通过运行带有 `-help` 选项的 `spark-submit` 来查看可用参数列表，在 Linux 环境下，这会展示所有可能使用的配置项及其作用： ```bash $ spark-submit --help ``` #### 默认配置加载 `spark-submit` 脚本能够从属性文件中读取默认设置并将其应用于即将启动的应用实例，默认是从安装目录下的 `conf/spark-defaults.conf` 文件里获取这些设定值[^2]。 #### 主类与应用命名对于 Java 或 Scala 编写的 Spark 应用而言，需指明入口点即主类的位置以及整个项目的全限定名；同时还需要定义此次任务的名字以便于管理和监控[^3]。 #### 依赖管理当利用 `spark-submit` 发布项目时，它会负责把当前工程连同所需的所有库一起打包上传到集群环境中去。如果提供了外部 JAR 的 URL，则应确保其格式正确无误——支持多种协议如 HDFS, HTTP(S), FTP 和本地文件系统路径等，并且多个链接间要用逗号隔开[^4]。例如，下面是一个完整的 `spark-submit` 示例调用，用于提交一个名为 `MyApp.jar` 的 jar 包中的 Spark 应用程序，其中包含了必要的参数设置： ```bash spark-submit \ --name "My Application Name" \ --master yarn \ --deploy-mode cluster \ --executor-memory 8G \ --num-executors 50 \ MyApp.jar arg1 arg2 ``` 上述命令行设置了诸如 master 地址 (`yarn`)、部署模式 (cluster) 及其他资源配置信息，最后跟上了要执行的目标 jar 文件及传入给 main 方法的参数。