Spark启动命令总结简介

原创已于 2022-10-12 15:09:40 修改 · 5.1k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#spark

于 2020-08-16 14:17:57 首次发布

本文详细介绍了如何使用不同的命令启动Apache Spark环境，包括本地启动、启动Spark Shell、启动自带集群、启动Master主节点以及启动Yarn Spark服务。每种启动方式都提供了具体的命令参数说明。

**本地启动**
（安装本地后的启动Spark启动命令）

bin/spark-submit
–class org.apache.spark.examples.SparkPi
–executor-memory 1G
–total-executor-cores 2
./examples/jars/spark-examples_2.11-2.1.1.jar
100
启动本地spark-shell启动之后是一个Scala程序
bin/spark-shll
启动Spark自带集群sqpark-shll启动后是个Scala程序
bin/spark-shell --master snode2:7077,node3:7077 --executor-memory 2emory 1g --total-executor-cores 2
启动Master主节点命令
sbin/start-all.sh
单点启动主节点
sbin/start-master.sh
启动YarnSpark服务
bin/spark-submit
–class org.apache.spark.examples.SparkPi
–master yarn
–deploy-mode client
./examples/jars/spark-examples_2.11-2.1.1.jar
100