Spark提交任务的命令

最新推荐文章于 2025-09-09 10:36:21 发布
原创 最新推荐文章于 2025-09-09 10:36:21 发布 · 4.3k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark

本文介绍了bin/spark-submit命令的使用，包括指定master位置、运行内存、核数等参数。如通过--master指定多个任务的master位置，用逗号分隔；--executor-memory指定每个机器上的运行内存；--total-executor-cores指定整个任务的核数等。

bin/spark-submit --master spark://master.hadoop:7077,slave1.hadoop:7077 --executor-memory 512mb --total-executor-cores 4

--class nuc.sw.test.ScalaWordCount /root/spark-1.0.jar hdfs://master.hadoop:9000/input hdfs://master.hadoop:9000/output

解释:

bin/spark-submit

--master  指定master的位置如果有多个任务，用逗号分隔。spark://master.hadoop:7077,slave1.hadoop:7077

--executor-memory  指定运行时候的内存 512mb(每个机器上)

--total-executor-cores 指定核数（整个任务总共的核数）

--class  指定main方法的类名    jar包的路径   输入路径  输出路径

Spark提交指令
蔚文达的博客
09-09 546
yarn方式启动spark-shell spark-shell --master yarn-client --driver-memory 8g --num-executors 3 --executor-memory 20g --executor-cores 6 standalone方式启动spark-shell spark-shell --driver-memory 8g --...
11 个例子讲清spark提交命令参数
一个8年大数据开发工程师的碎碎念
07-08 3340
Apache Spark 提供了丰富的参数配置选项，以适应不同的部署环境、优化性能和管理资源。这些参数涵盖了从基本的集群设置（如 --master 和 --deploy-mode）到高级的资源分配（如 --executor-memory 和 --num-executors）。Spark 的参数多样性使其能够在各种场景下灵活调整，包括动态资源分配、GPU 支持和自定义日志配置等高级功能。有效的参数调整需要深入了解集群资源、工作负载特性，并遵循最佳实践。
spark提交任务命令
qq_23596677的博客
08-12 550
// 使用spark-submit提交一个任务到普通的Spark Standalone集群： 比如求Pi ~/apps/spark-2.3.1-bin-hadoop2.7/bin/spark-submit –class org.apache.spark.examples.SparkPi –master spark://hadoop02:7077 –executor-memory 512m ...
Spark任务提交
m0_51550513的博客
05-08 329
【代码】Spark任务提交。
Spark作业提交
jpfx6008的博客
08-11 1339
角色作用Master管理集群和节点，不参与计算。Driver一个Spark作业运行时包括一个Driver进程，也是作业的主进程，具有main函数，并且有SparkContext的实例，是程序的入口点。负责向集群申请资源，向master注册信息，负责了作业的调度，负责作业的解析、生成Stage并调度Task到Executor上。包括DAGScheduler，TaskScheduler。Woker主要功能：管理当前节点内存，CPU的使用状况，
Spark 任务提交流程详解
u012024132的专栏
09-09 836
/ 根据master URL创建对应的TaskScheduler。// Client模式：在客户端启动Driver。// 1. 创建Kubernetes Client。// 1. 创建TaskSetManager管理任务集。// 1. 创建YARN Client。// 3. 创建Driver Service。// 1. 创建ResultStage。// 4. 没有依赖，直接提交。// 5. 先提交父Stage。// 2. 创建Driver Pod。// 2. 创建TaskRunner。
java提交spark任务到yarn平台的配置讲解共9页.pdf.zip
10-28
使用`spark-submit`命令提交任务到YARN，需要提供JAR路径、主类名、YARN相关参数等。 7. **YARN资源管理**： YARN通过Container来分配资源，每个Container包含一定的内存和CPU核心。Spark作业会根据需求申请和释放...
大数据学习之Spark——08任务提交
bingque6535的博客
07-24 190
一. Standalone模式提交 1. Standalone-client提交任务 1. 提交命令 命令1: ./spark-submit --master spark://node01:7077 --class org.apache.spark.examples.SparkPi ../examples/jars/spark-examples_2.11-2.3.1.jar 10 命令2: ./spark-submit --master spark://node01:7077 --de
Spark提交任务
别人笑我太疯癫，我笑他人看不穿。
11-02 4341
Spark_Submit脚本参数 Spark-submit脚本提交任务时最简易的命令格式如下： ./bin/spark-submit \ --master spark://localhost:7077 \ 任务包 任务参数 而实际开发中用的一般是如下的格式 ./bin/spark-submit \ --master yarn \ --deploy-mode cluster \ --driver-memory 1g \ --executor-memory 1g \ --executor-cores 11
提交spark任务命令
James_bobo的博客
12-31 654
打jar包命令 sbt package 运行命令 spark-submit --class com.qbao.ml.tide.model.TideProcess --num-executors 100 --driver-cores 16 --driver-memory 16g ml-spark_2.10-1.0.jar 1 0 >>./ExecuteTide.log 2>&amp...
集群提交spark任务命令
weixin_30847865的博客
10-10 179
>>spark-submit --class WordCount DataMining.jar /dept_ana/part-00000 /dept_ana/output/wordCountResult --master yarn --num-executors 30 --executor-memory 4g --executor-cores 2 --name test_wordc...
Spark提交命令和参数调优
薛秋艳的博客
05-29 515
参数意义和参考值： 1.num-executors  线程数：一般设置在50-100之间，必须设置，不然默认启动的executor非常少，不能充分利用集群资源，运行速度慢 2.executor-memory 线程内存：参考值4g-8g,num-executor乘以executor-memory不能超过队列最大内存，申请的资源最好不要超过最大内存的1/3-1/2 3.executor-cores 线程CPU core数量：core越多，task线程就能快速的分配，参考值2-4，num-execu.
spark任务提交
天海行者的专栏
12-18 449
提交第一个spark应用到集群中运行 bin/spark-submit --master spark://node-5:7077 --class org.apache.spark.examples.SparkPi --executor-memory 2048mb --total-executor-cores 12 examples/jars/spark-examples_2.11-2.2.0...
Spark-Submit
洪城浪子的博客
07-31 316
Spark-Submit Spark基于 Yarn 的提交任务，有两种模式，一种是 client，另一种是 cluster 。 在 standalone 模式下也有 client 和 cluster 两种方式，方式大同小异，在 yarn 下将 ResourceManager 改为 Master ， NodeManager 改为 Worker ，就变成了 standalone 模型。 1. client模式 提交任务的命令是： ./spark-submit --master yarn --de
Spark任务提交全流程（简述+全流程）
热门推荐
小黑的博客
03-20 1万+
概略: 1.Driver端启动SparkSubmit进程，启动后开始向Master进行通信，此时创建了一个对象（SparkContext），接着向Master发送任务消息 2.Master接收到任务信息后，开始资源调度，此时会和所有的Worker进行通信，找到空闲的Worker，并通知Worker来拿取任务和启动相应的Executor 3.Executor启动后，开始与Driver进行反向注册，...
Spark如何提交job
sonia_liss的博客
08-22 600
spark提交job方式 standalone方式 client 模式 cluster模式 yarn方式 client模式 完整体提交job语句： spark-submit --master yarn --deploy-mode client --executor-memory 2G --executor-cores 1 --class org.apache.spark.examp...
spark任务提交到yarn上命令总结
weixin_30339457的博客
02-23 1258
spark任务提交到yarn上命令总结 1. 使用spark-submit提交任务 集群模式执行 SparkPi 任务，指定资源使用,指定eventLog目录 spark-submit --class org.apache.spark.examples.SparkPi \ --master yarn \ --conf spark.eventLog.dir=hdfs://dbm...
spark提交任务的参数
最新发布
11-27
<think> 我们被要求回答关于Spark提交任务的参数问题，并参考了提供的引用内容。根据引用[1]和引用[2]，我们可以整理出一些常用的spark-submit参数。同时，引用[3]也提供了一些例子，但这里我们主要关注参数列表。 注意：用户要求使用中文回答，并且按照指定的格式要求（如数学公式的格式等），但本问题不涉及数学公式，因此我们主要关注参数列表的描述。 根据引用[1]和引用[2]，常用的参数包括： --master: 指定集群的master URL（例如：spark://host:port, yarn, local[*]等） --deploy-mode: 部署模式，可以是client或cluster --name: 应用的名称 --conf: 指定额外的Spark配置属性（key=value） --py-files: 用于Python应用，指定额外的.zip, .egg, .py文件 --class: 指定主类（对于Java/Scala应用） --executor-memory: 每个executor的内存大小（例如：2g） --executor-cores: 每个executor的CPU核心数 --num-executors: 启动的executor数量 --driver-memory: driver程序的内存大小 --driver-cores: driver程序的核心数（在cluster模式下，driver运行在集群上，这个参数才有效） 此外，引用[2]还提到了可以传递应用参数（放在最后）。 我们按照用户要求的结构清晰、逐步回答，并保证真实可靠（基于提供的引用）。 注意：引用标记应放在引用内容的末尾，如[^1]。 </think> ### Spark 提交任务的常用参数详解 Spark 提交任务时通过 `spark-submit` 命令配置参数，主要分为**核心参数**、**资源参数**和**高级配置**三类： #### 一、核心参数 1. `--master`：集群管理器地址 - `local[*]`：本地模式（* 表示使用所有核心） - `yarn`：YARN 集群模式 - `spark://host:port`：Standalone 模式 - `k8s://host:port`：Kubernetes 模式 [^3] 2. `--deploy-mode`：Driver 部署位置 - `client`（默认）：Driver 在提交节点运行 - `cluster`：Driver 在集群的 Worker 节点运行 [^1] 3. `--name`：应用名称（显示在集群监控界面） ```bash --name "My_Spark_Job" ``` 4. `--class`：主程序入口类（Java/Scala 应用） ```bash --class org.example.MainApp ``` 5. `--py-files`：Python 依赖文件 - 支持 `.py`, `.zip`, `.egg` 文件 ```bash --py-files libs.zip,utils.py ``` #### 二、资源参数 1. **Driver 配置** - `--driver-memory`：Driver 内存（默认 1g） ```bash --driver-memory 4g ``` - `--driver-cores`：Driver 的 CPU 核心数 [^2] 2. **Executor 配置** - `--executor-memory`：单个 Executor 内存 ```bash --executor-memory 2g ``` - `--executor-cores`：单个 Executor 的 CPU 核心数（默认 1） - `--num-executors`：Executor 数量（YARN 模式专用） ```bash --num-executors 10 ``` #### 三、高级配置（`--conf`） 使用 `key=value` 格式覆盖默认配置： 1. **动态资源分配** ```bash --conf spark.dynamicAllocation.enabled=true ``` 2. **Shuffle 优化** ```bash --conf spark.sql.shuffle.partitions=200 ``` 3. **网络超时设置** ```bash --conf spark.network.timeout=300s ``` 4. **Kubernetes 专用配置** ```bash --conf spark.kubernetes.container.image=spark:3.4 ``` #### 完整提交示例（YARN 模式） ```bash bin/spark-submit \ --master yarn \ --deploy-mode cluster \ --name "Data_ETL_Job" \ --executor-memory 4g \ --executor-cores 2 \ --num-executors 20 \ --conf spark.sql.shuffle.partitions=1000 \ --py-files dependencies.zip \ /app/main.py ``` > **关键说明**： > - 资源参数需根据集群实际资源调整，避免超额申请 > - `cluster` 模式适合生产环境，`client` 模式便于调试 [^1] > - GPU 资源需添加 `--conf spark.executor.resource.gpu.amount=1` [^3]
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值