【spark认任务提交】配置优先级顺序

于 2025-04-10 17:42:05 发布
阅读量269 收藏 1
点赞数 2
文章标签： spark 大数据 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/2401_88076102/article/details/147123943
版权

配置优先级顺序

  1. Spark-submit 命令行参数 (最高优先级)
  2. 代码中通过 SparkConf 设置的参数 (在应用程序中直接设置)
  3. spark-defaults.conf 文件中的配置

实际应用中的建议

  1. 固定配置：将集群级别的默认配置放在 spark-defaults.conf 中
  2. 应用特定配置：将应用特定的配置放在代码中（SparkConf）
  3. 临时覆盖：使用 spark-submit 命令行参数进行临时覆盖或调试
QX_hao
关注
Spark Standalone 集群配置
主要分享大数据相关的知识，如Spark、Hudi
02-07 624
平时工作中主要用 YARN 模式，最近进行TPC测试用到了 Standalone 模式，便记录总结一下 Standalone 集群相关的配置。
Spark基础（3）：Spark任务调度机制详解
正趣果上果
05-12 305
Spark基础（3）：Spark任务调度机制详解1、调度策略1.1 FIFO1.2 FAIR2、数据本地性 1、调度策略 1.1 FIFO 先比较作业优先级，再比较调度阶段优先级 1.2 FAIR 综合考量 runningTasks 值，minShare 值以及 weight 值 2、数据本地性 Spark中数据本地性优先级从高到低：PROCESS_LOCAL>NODE_LOCAL>NO_PREF>RACK_LOCAL>ANY 级别 概念 PROCESS_
Spark_spark参数配置优先级
迎难而上
11-28 993
spark-submit 提交的优先级 < scala/java代码中的配置参数 < spark SQL hint。优先级低-》优先级高。
spark属性配置的优先级
学亮编程手记
08-01 1026
一：优先级 优先级：是计算机分时操作系统在处理多个作业程序时，决定各个作业程序接受系统资源的优先等级的参数。 二：情况 进程是有优先级的。如果即将被运行的进程的优先级比正在运行的进程的优先级高，则系统可以强行剥夺正在运行的进程的CPU，让优先级高的进程先运行。 三：spark中 每个值将作为一个flags传递到应用中并个SparkConf对象中相应的属性进行合并。通过SparkConf 对象配置的属性优先级最高；其次是对spark-submit 或 spark-shell通过flags配置；最后是spark
spark的常用参数配置（local、yarn）
xfysq_的博客
03-08 872
spark的常用参数配置（local、yarn）
[spark]三.常见知识点|job提交参数|配置优先级|deploy-mode|OOM
胖胖的博客
10-24 899
在代码中的SparkConf中配置参数具有最高优先级，其次是spark-submit或spark-shell的参数，最后是配置文件spark-default.conf。当程序在一个yarn Container里面超过了可用内存，就会出现OOM问题。
spark任务优先级设置：spark.yarn.priority
学亮编程手记
08-01 3992
Spark对于Yarn priority的支持源码详解 Yarn的调度器 在Yarn中，提供了Capacity scheduler和Fair scheduler，它们都支持priority的。这里我们简单介绍下概念，不做过多的描述。 Capacity Scheduler Capacity scheuler设计的目的是为了让Hadoop上的applications可以以一个多租户的形式下分享资源运行，这种调度器一般应用在有一个较大的公有集群，按照队列来分配资源给特定的用户组。我们可以简单的通过配置就可以设定队
Spark
小道的博客
12-10 3898
Spark知识点
离线任务平台在企业中的应用实例与解析思考
热门推荐
张彦峰的博客
04-10 5万+
离线任务平台通常是指一种基于云计算或分布式计算技术，用于处理批量离线数据的计算平台。它可以自动化地执行一系列离线数据处理任务，如数据清洗、数据转换、数据分析、机器学习模型训练等。离线任务平台通常包括数据存储、数据处理和数据输出三个主要组件。在离线任务平台上，用户可以定义和配置数据处理任务，然后提交任务并等待任务完成。任务完成后，用户可以从输出目录中获取结果数据。在业务应用中，离线任务平台通常指一种数据处理平台，用于对大规模离线数据进行处理和分析，以便于业务决策和优化。
spark yarn 提交流程
文报的博客
12-09 2081
1.Client向RM提交请求,上传jar包到HDFS上 2.RM在集群中选择一个NM,在其上启动AppMaster，在AppMaster中实例化SparkContext(Driver) 3.AppMaster向RM注册应用程序并申请资源。RM监控AppMaster的状态直到AppMaster结束。 4.AppMaster申请到资源后，与NM通信在Container中启动Executor进程 5.Executor向driver反向注册，申请任务 6.Driver对应用进行解析，最后将Task发送到Exe..
Spark 入门之十二：再看Spark中的调度策略（Standlone）
不积跬步，无以至千里；不积小流，无以成江海！
09-20 2925
资源调度是Spark中比较重要的内容，对调度的相关原理以及策略的了解对集群的运行以及优化都会有很大的帮助，资源调度的方式有多种,Local,Standlone,Yarn,Mesos等，本文只针对Standlone的方式做简介几个重要的概念开始文章之前，再次对几个核心的概念做一个总结被调用对象 Application:Spark 的应用程序，用户提交后，Spark为App分配资源，将程序转换并执行，其
Spark--FIFO，Fair调度器
2301_77948840的博客
02-10 493
Spark 中的调度模式主要有两种：FIFO 和 FAIR。使用哪种调度器由参数 spark.scheduler.mode 来设置，可选的参数有 FAIR 和 FIFO，默认是FIFO。在 Scheduler 模块中，当 stage 划分好，然后提交 Task 的过程中，会进入 TaskSchedulerlmpl 的submitTasks 方法。
Spark配置参数
Camu7s的专栏
01-26 3835
以下是整理的Spark中的一些配置参数，官方文档请参考Spark Configuration。 Spark提供三个位置用来配置系统： Spark属性：控制大部分的应用程序参数，可以用SparkConf对象或者Java系统属性设置环境变量：可以通过每个节点的conf/spark-env.sh脚本设置。例如IP地址、端口等信息日志
spark之5：配置文件
jediael_lu的专栏
08-05 1855
spark之5：配置文件@(SPARK)[spark]一、spark的参数设置方式1、spark配置文件加载顺序spark按以下优先级加载配置文件： （1）用户代码中显式调用set()方法设置的选项 （2）通过spark-submit传递的参数 （3）配置文件中的值 （4）spark的默认值以下会分别介绍各种方式。2、set()方法val conf = new SparkConf() co
Spark3.0源码分析-数据本地化优先级及延迟调度策略
探索大数据世界 - 深入解析数据存储、分布式计算与人工智能
07-02 1129
spark3.0基于源码分析数据本地化及延迟调度策略
spark参数详解
cxy1991xm的博客
06-15 1639
spark的配置参数可以在多个地方配置，以executor的memory为例，有三个地方可以配置 (1)spark-submit的--executor-memory选项 (2)spark-defaults.conf的spark.executor.memory配置 (3)spark-env.sh的SPARK_EXECUTOR_MEMORY配置 优先级：spark-submit --选项 > ...
spark属性配置优先级
zljzlj1234的博客
12-29 2145
每个值将作为一个flags传递到应用中并个SparkConf对象中相应的属性进行合并。通过SparkConf 对象配置的属性优先级最高；其次是对spark-submit 或 spark-shell通过flags配置；最后是spark-defaults.conf文件中的配置。
设置 Spark 配置信息
最新发布
03-29
### 配置 Spark 参数及设置运行时选项 在 Spark 中，可以通过多种方式配置参数并调整其行为。以下是关于如何设置 Spark 参数以及运行时选项的具体说明。 #### 1. 配置优先级 Spark 的参数配置具有一定的优先级顺序，这决定了不同来源的配置项之间的覆盖关系。根据已知的信息[^1]，优先级从高到低依次为： - **通过 `SparkConf` 设置的参数** - **命令行接口 (CLI)** 提供的参数 - **`spark-defaults.conf` 文件中的默认配置** 这意味着如果同一个参数被多次定义，则最终生效的是来自最高优先级源的值。 #### 2. 常见参数及其作用 一些常用的 Spark 参数可以显著影响作业性能和资源分配。例如： - **`spark.default.parallelism`**: 这一参数决定每个 stage 默认的任务数（task 数量）。如果没有显式指定此参数，Spark 将基于底层 HDFS 数据块的数量自动计算 task 数量，通常是一个数据块对应一个 task[^2]。 - **Executor 和 Driver 资源管理**: - 使用 `--executor-memory` 或者 `spark.executor.memory` 来控制单个 executor 所需的最大堆内存大小。 - 利用 `--driver-memory` 或者 `spark.driver.memory` 定义 driver 程序可用的内存上限。 - Executor 核心数目可通过 `--executor-cores` 或者 `spark.executor.cores` 设定。 #### 3. 实际提交任务时的参数传递方法 当使用 `spark-submit` 工具向集群提交应用程序时，可以在命令行中直接提供必要的参数。下面展示了一个典型的例子[^3]: ```bash spark-submit \ --class org.apache.spark.examples.SparkPi \ --master yarn \ --deploy-mode cluster \ --driver-memory 1g \ --executor-memory 1g \ --executor-cores 1 \ --conf "spark.driver.extraJavaOptions=-Dlog4j.configuration=log4j-driver.xml" \ --conf "spark.executor.extraJavaOptions=-Dlog4j.configuration=log4j-executor.xml" \ --files /opt/test/conf/log4j-driver.xml,/opt/test/conf/log4j-executor.xml \ --jars "/opt/test/slf4j-api-1.7.25.jar" \ spark-examples_2.11-2.4.7.jar 10 ``` 上述命令展示了如何通过 CLI 方式设定多个重要参数，比如驱动器与执行器各自的 Java VM 启动选项、额外依赖文件上传路径等。 #### 4. 特殊场景下的参数调优 对于某些特定业务需求或者复杂环境部署情况，可能还需要进一步定制化配置。例如，在 DolphiScheduler 平台上运行 Spark 应用程序时，除了常规资源配置外，还涉及外部变量注入等问题[^4]。此时应确保所有必需的上下文信息能够正确传递给应用逻辑内部。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值