Spark-submit脚本说明

最新推荐文章于 2025-06-24 16:30:27 发布

原创最新推荐文章于 2025-06-24 16:30:27 发布 · 1.7k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#spark

spark-study 专栏收录该内容

1 篇文章

订阅专栏

本文介绍如何使用spark-submit脚本启动Spark应用程序。详细解释了各参数的意义，如--class用于指定执行的类，--num-executors设置executor数量等。通过一个wordcount示例，演示了如何配置并运行一个简单的Spark作业。

在spark开发中会遇到spark-submit脚本的编写，作为小白的我就在这里对spark-submit进行简单的说明。

vi wordcount.sh

/usr/local/spark/bin/spark-submit \

--class cn.spark.study.core.wordCountCluster \

--num-executors 3 \

--driver-memory 100m \

--executor-memory 100m \

--executor-cores 3 \

--master spark://192.168.1.107:7077

/usr/local/SparkTest-0.0.1-SNAPSHOT-jar-with-dependencies.jar \

首先执行spark-submit，并传入参数class，指定要执行的class文件，num-executors是指明让spark启动几个executor来执行，driver-memory指明driver的内存是多少，executor-memory指明每一个executor的内存是多少，executor-cores指明executor-core是几个,master用来指定standalone模式下spark的集群；/usr/local/SparkTest-0.0.1-SNAPSHOT-jar-with-dependencies.jar指明jar包的位置。

默认wordcount.sh是不能执行的，改变权限chmod 777 wordcount.sh

执行./wordcount.sh