spakr 提交任务

新鲜氧气

已于 2024-01-17 15:45:38 修改

阅读量617

点赞数 9

于 2024-01-17 15:40:14 首次发布

本文链接：https://blog.youkuaiyun.com/dongwen000/article/details/135651031

版权

大数据同时被 3 个专栏收录

20 篇文章

订阅专栏

scala

9 篇文章

订阅专栏

spark

8 篇文章

订阅专栏

本文详细介绍了如何在Standalone、ApacheMesos、HadoopYARN和Kubernetes等集群环境下，使用spark-submit脚本提交Spark任务，包括关键参数如--class、--master、--deploy-mode等的含义和应用示例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

当前集群支持3中集群管理

Standalone（spak框架自身拥有能力）
Apache Mesos
Hadoop YARN
Kubernetes
使用/spark-submit脚本提交任务，脚本后面可以接参数

./bin/spark-submit \
  --class <main-class> \
  --master <master-url> \
  --deploy-mode <deploy-mode> \
  --conf <key>=<value> \
  ... # other options
  <application-jar> \
  [application-arguments]

例子：

../../bin/spark-submit  \--master spark://node01:7077,node02:7077   --class org.apache.spark.examples.SparkPi  ./spark
  -examples_2.11-2.3.4.jar    100000

参数解释：

--class：用于设置程序运行main函数所在类全名

--master：集群地址

--deploy-mode：部署模式（client/cluster）

--conf：spark.default.parallelism=300 指定并行的task数量为300

--driver-memory 2g Driver内存

--driver-cores 2 Driver核数

--executor-memory 2g ：用于设置每个Executor进程的CPU core数量

--executor-cores 2 用于设置每个Executor进程的CPU core数量

--num-executors 24 用于设置Spark作业总共要用多少个Executor进程来执行