spark学习系列——5 spark submit

最新推荐文章于 2023-11-21 13:26:27 发布

原创最新推荐文章于 2023-11-21 13:26:27 发布 · 427 阅读

0 ·

CC 4.0 BY-SA版权

spark 专栏收录该内容

17 篇文章

订阅专栏

本文介绍了Spark应用提交的详细过程，包括提交样板和示例。重点解析了--deploy-mode cluster模式，说明在生产环境中如何确保driver节点的高可用性。此外，提及spark-sql在资源消耗较小的情况下，可以使用client模式运行。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

详细请参见：http://spark.apache.org/docs/latest/submitting-applications.html

1、提交样板

./bin/spark-submit \
  --class <main-class> \
  --master <master-url> \
  --deploy-mode <deploy-mode> \
  --conf <key>=<value> \
  ... # other options
  <application-jar> \
  [application-arguments]

2、提交示例

# Run application locally on 8 cores
./bin/spark-submit \
  --class org.apache.spark.examples.SparkPi \
  --master local[8] \
  /path/to/examples.jar \
  100

# Run on a Spark standalone cluster in client deploy mode
./bin/spark-submit \
  --class org.apache.spark.examples.SparkPi \
  --master spark://207.184.161.138:7077 \
  --executor-memory 20G \
  --total-executor-cores 100 \
  /path/to/examples.jar \
  1000

# Run on a Spark standalone cluster in cluster deploy mode with supervise
./bin/spark-submit \
  --class org.apache.spark.examples.SparkPi \
  --master spark://207.184.161.138:7077 \
  --deploy-mode cluster \
  --supervise \
  --executor-memory 20G \
  --total-executor-cores 100 \
  /path/to/examples.jar \
  1000

# Run on a YARN cluster
export HADOOP_CONF_DIR=XXX
./bin/spark-submit \
  --class org.apache.spark.examples.SparkPi \
  --master yarn \
  --deploy-mode cluster \  # can be client for client mode
  --executor-memory 20G \
  --num-executors 50 \
  /path/to/examples.jar \
  1000

# Run a Python application on a Spark standalone cluster
./bin/spark-submit \
  --master spark://207.184.161.138:7077 \
  examples/src/main/python/pi.py \
  1000

# Run on a Mesos cluster in cluster deploy mode with supervise
./bin/spark-submit \
  --class org.apache.spark.examples.SparkPi \
  --master mesos://207.184.161.138:7077 \
  --deploy-mode cluster \
  --supervise \
  --executor-memory 20G \
  --total-executor-cores 100 \
  http://path/to/examples.jar \
  1000

# Run on a Kubernetes cluster in cluster deploy mode
./bin/spark-submit \
  --class org.apache.spark.examples.SparkPi \
  --master k8s://xx.yy.zz.ww:443 \
  --deploy-mode cluster \
  --executor-memory 20G \
  --num-executors 50 \
  http://path/to/examples.jar \
  1000

3、注意：

a.--deploy-mode cluster 是指定任务driver节点运行方式，在生产环境中，我们会使用cluster 集群中的一台机器作为driver，这样能够由集群运维人员保证机器的可用性。

spark-sql 命令由于资源使用量小，可以使用client方式作为driver，这个在后面再作说明。