spark-submit

Spark程序提交与集群部署：参数详解

最新推荐文章于 2025-04-10 17:34:48 发布

原创最新推荐文章于 2025-04-10 17:34:48 发布 · 305 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#spark #大数据 #分布式

spark 专栏收录该内容

9 篇文章

订阅专栏

本文介绍了如何使用spark-submit命令将程序提交到Spark集群进行执行，重点讲解了master参数的选择、应用程序名称、主类指定以及Driver和Executor内存配置。实例演示了在本地模式和YARN模式下提交Spark程序的方法。

学会将程序提交到集群上执行。

相关知识

为了完成本关任务，你需要掌握：1.了解spark-submit的参数。2.学会提交Spark程序在集群运行。

spark-submit参数

参数	介绍
`--master`	`提交到哪里执行，如 standalone，local，yarn，mesos等`
`--name`	`应用程序的名称`
`--class`	`应用程序的主类`
`--deploy-mode`	`Driver 程序运行的地方，client 或者 cluster，默认是client`
`--driver-memory`	`Driver内存，默认 1G`
`--executor-memory`	`每个executor的内存，默认是1G`

使用格式：

./bin/spark-submit
--class
--master
--deploy-mode
--conf
... # other options
application-jar

计算圆周率

cd /opt/spark/dist/bin
./spark-submit
--master local
--class org.apache.spark.examples.SparkPi
/opt/spark/dist/examples/jars/spark-examples_2.11-2.2.0.jar

./spark-submit --master 本地模式 --class 程序运行的主类名 xxx.jar

cp -r  Spark/SparkRDD/target/project.jar /root

cd /opt/spark/dist/bin

#********** Begin **********#



./spark-submit --class Student /root/project.jar



#********** End **********#