spark 的各种参数配置

最新推荐文章于 2025-09-09 14:28:58 发布
原创 最新推荐文章于 2025-09-09 14:28:58 发布 · 2.6k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文深入探讨Spark在YARN上的运行机制，详细对比客户端模式与集群模式的差异，解析作业提交流程及资源分配策略，适合Spark与YARN初学者及开发者阅读。

 

2018年01月03日 11:19:46 hankl1990 阅读数：1784

https://www.jianshu.com/p/9b243c0a7410

 

 

 

1 spark on yarn常用属性介绍

属性名默认值属性说明
spark.yarn.am.memory512m在客户端模式（client mode）下，yarn应用master使用的内存数。在集群模式（cluster mode）下，使用spark.driver.memory代替。
spark.driver.cores1在集群模式（cluster mode）下，driver程序使用的核数。在集群模式（cluster mode）下，driver程序和master运行在同一个jvm中，所以master控制这个核数。在客户端模式（client mode）下，使用spark.yarn.am.cores控制master使用的核。
spark.yarn.am.cores1在客户端模式（client mode）下，yarn应用的master使用的核数。在集群模式下，使用spark.driver.cores代替。
spark.yarn.am.waitTime100ms在集群模式（cluster mode）下，yarn应用master等待SparkContext初始化的时间。在客户端模式（client mode）下，master等待driver连接到它的时间。
spark.yarn.submit.file.replication3文件上传到hdfs上去的replication次数
spark.yarn.preserve.staging.filesfalse设置为true时，在job结束时，保留staged文件；否则删掉这些文件。
spark.yarn.scheduler.heartbeat.interval-ms3000Spark应用master与yarn resourcemanager之间的心跳间隔
spark.yarn.scheduler.initial-allocation.interval200ms当存在挂起的容器分配请求时，spark应用master发送心跳给resourcemanager的间隔时间。它的大小不能大于spark.yarn.scheduler.heartbeat.interval-ms，如果挂起的请求还存在，那么这个时间加倍，直到到达spark.yarn.scheduler.heartbeat.interval-ms大小。
spark.yarn.max.executor.failuresnumExecutors * 2，并且不小于3在失败应用程序之前，executor失败的最大次数。
spark.executor.instances2Executors的个数。这个配置和spark.dynamicAllocation.enabled不兼容。当同时配置这两个配置时，动态分配关闭，spark.executor.instances被使用
spark.yarn.executor.memoryOverheadexecutorMemory * 0.10，并且不小于384m每个executor分配的堆外内存。
spark.yarn.driver.memoryOverheaddriverMemory * 0.10，并且不小于384m在集群模式下，每个driver分配的堆外内存。
spark.yarn.am.memoryOverheadAM memory * 0.10，并且不小于384m在客户端模式下，每个driver分配的堆外内存
spark.yarn.am.port随机Yarn 应用master监听的端口。
spark.yarn.queuedefault应用提交的yarn队列的名称
spark.yarn.jarnoneJar文件存放的地方。默认情况下，spark jar安装在本地，但是jar也可以放在hdfs上，其他机器也可以共享。

2 客户端模式和集群模式的区别

这里我们要区分一下什么是客户端模式（client mode），什么是集群模式（cluster mode）。

我们知道，当在YARN上运行Spark作业时，每个Spark executor作为一个YARN容器(container)运行。Spark可以使得多个Tasks在同一个容器(container)里面运行。 yarn-cluster和yarn-client模式的区别其实就是Application Master进程的区别，在yarn-cluster模式下，driver运行在AM(Application Master)中，它负责向YARN申请资源，并监督作业的运行状况。当用户提交了作业之后，就可以关掉Client，作业会继续在YARN上运行。然而yarn-cluster模式不适合运行交互类型的作业。 在yarn-client模式下，Application Master仅仅向YARN请求executor，client会和请求的container通信来调度他们工作，也就是说Client不能离开。下面的图形象表示了两者的区别。

1.1

1.1

1.2

1.2

2.1 Spark on YARN集群模式分析

2.1.1 客户端操作

  • 1、根据yarnConf来初始化yarnClient，并启动yarnClient；
  • 2、创建客户端Application，并获取Application的ID，进一步判断集群中的资源是否满足executor和ApplicationMaster申请的资源，如果不满足则抛出IllegalArgumentException；
  • 3、设置资源、环境变量：其中包括了设置Application的Staging目录、准备本地资源（jar文件、log4j.properties）、设置Application其中的环境变量、创建Container启动的Context等；
  • 4、设置Application提交的Context，包括设置应用的名字、队列、AM的申请的Container、标记该作业的类型为Spark；
  • 5、申请Memory，并最终通过yarnClient.submitApplication向ResourceManager提交该Application。

当作业提交到YARN上之后，客户端就没事了，甚至在终端关掉那个进程也没事，因为整个作业运行在YARN集群上进行，运行的结果将会保存到HDFS或者日志中。

2.1.2 提交到YARN集群，YARN操作

  • 1、运行ApplicationMaster的run方法；
  • 2、设置好相关的环境变量。
  • 3、创建amClient，并启动；
  • 4、在Spark UI启动之前设置Spark UI的AmIpFilter；
  • 5、在startUserClass函数专门启动了一个线程（名称为Driver的线程）来启动用户提交的Application，也就是启动了Driver。在Driver中将会初始化SparkContext；
  • 6、等待SparkContext初始化完成，最多等待spark.yarn.applicationMaster.waitTries次数（默认为10），如果等待了的次数超过了配置的，程序将会退出；否则用SparkContext初始化yarnAllocator；
  • 7、当SparkContext、Driver初始化完成的时候，通过amClient向ResourceManager注册ApplicationMaster;
  • 8、分配并启动Executeors。在启动Executeors之前，先要通过yarnAllocator获取到numExecutors个Container，然后在Container中启动Executeors。 如果在启动Executeors的过程中失败的次数达到了maxNumExecutorFailures的次数，maxNumExecutorFailures的计算规则如下：
 

  1. // Default to numExecutors * 2, with minimum of 3

  2. private val maxNumExecutorFailures = sparkConf.getInt("spark.yarn.max.executor.failures",

  3. sparkConf.getInt("spark.yarn.max.worker.failures", math.max(args.numExecutors * 2, 3)))

  4.  
  5.  

那么这个Application将失败，将Application Status标明为FAILED，并将关闭SparkContext。其实，启动Executeors是通过ExecutorRunnable实现的，而ExecutorRunnable内部是启动CoarseGrainedExecutorBackend的。

  • 9、最后，Task将在CoarseGrainedExecutorBackend里面运行，然后运行状况会通过Akka通知CoarseGrainedScheduler，直到作业运行完成。

2.2 Spark on YARN客户端模式分析

和yarn-cluster模式一样，整个程序也是通过spark-submit脚本提交的。但是yarn-client作业程序的运行不需要通过Client类来封装启动，而是直接通过反射机制调用作业的main函数。下面是流程。

  • 1、通过SparkSubmit类的launch的函数直接调用作业的main函数（通过反射机制实现），如果是集群模式就会调用Client的main函数。
  • 2、而应用程序的main函数一定都有个SparkContent，并对其进行初始化；
  • 3、在SparkContent初始化中将会依次做如下的事情：设置相关的配置、注册MapOutputTracker、BlockManagerMaster、BlockManager，创建taskScheduler和dagScheduler；
  • 4、初始化完taskScheduler后，将创建dagScheduler，然后通过taskScheduler.start()启动taskScheduler，而在taskScheduler启动的过程中也会调用SchedulerBackend的start方法。 在SchedulerBackend启动的过程中将会初始化一些参数，封装在ClientArguments中，并将封装好的ClientArguments传进Client类中，并client.runApp()方法获取Application ID。
  • 5、client.runApp里面的做的和上章客户端进行操作那节类似，不同的是在里面启动是ExecutorLauncher（yarn-cluster模式启动的是ApplicationMaster）。
  • 6、在ExecutorLauncher里面会初始化并启动amClient，然后向ApplicationMaster注册该Application。注册完之后将会等待driver的启动，当driver启动完之后，会创建一个MonitorActor对象用于和CoarseGrainedSchedulerBackend进行通信（只有事件AddWebUIFilter他们之间才通信，Task的运行状况不是通过它和CoarseGrainedSchedulerBackend通信的）。 然后就是设置addAmIpFilter，当作业完成的时候，ExecutorLauncher将通过amClient设置Application的状态为FinalApplicationStatus.SUCCEEDED。
  • 7、分配Executors，这里面的分配逻辑和yarn-cluster里面类似。
  • 8、最后，Task将在CoarseGrainedExecutorBackend里面运行，然后运行状况会通过Akka通知CoarseGrainedScheduler，直到作业运行完成。
  • 9、在作业运行的时候，YarnClientSchedulerBackend会每隔1秒通过client获取到作业的运行状况，并打印出相应的运行信息，当Application的状态是FINISHED、FAILED和KILLED中的一种，那么程序将退出等待。
  • 10、最后有个线程会再次确认Application的状态，当Application的状态是FINISHED、FAILED和KILLED中的一种，程序就运行完成，并停止SparkContext。整个过程就结束了。

3 spark submit 和 spark shell参数介绍

参数名格式参数说明
--masterMASTER_URL如spark://host:port
--deploy-modeDEPLOY_MODEClient或者master，默认是client
--classCLASS_NAME应用程序的主类
--nameNAME应用程序的名称
--jarsJARS逗号分隔的本地jar包，包含在driver和executor的classpath下
--packages 包含在driver和executor的classpath下的jar包逗号分隔的”groupId:artifactId：version”列表
--exclude-packages 用逗号分隔的”groupId:artifactId”列表
--repositories 逗号分隔的远程仓库
--py-filesPY_FILES逗号分隔的”.zip”,”.egg”或者“.py”文件，这些文件放在python app的PYTHONPATH下面
--filesFILES逗号分隔的文件，这些文件放在每个executor的工作目录下面
--confPROP=VALUE固定的spark配置属性
--properties-fileFILE加载额外属性的文件
--driver-memoryMEMDriver内存，默认1G
--driver-java-options 传给driver的额外的Java选项
--driver-library-path 传给driver的额外的库路径
--driver-class-path 传给driver的额外的类路径
--executor-memoryMEM每个executor的内存，默认是1G
--proxy-userNAME模拟提交应用程序的用户
--driver-coresNUMDriver的核数，默认是1。这个参数仅仅在standalone集群deploy模式下使用
--supervise Driver失败时，重启driver。在mesos或者standalone下使用
--verbose 打印debug信息
--total-executor-coresNUM所有executor总共的核数。仅仅在mesos或者standalone下使用
--executor-coreNUM每个executor的核数。在yarn或者standalone下使用
--driver-coresNUMDriver的核数，默认是1。在yarn集群模式下使用
--queueQUEUE_NAME队列名称。在yarn下使用
--num-executorsNUM启动的executor数量。默认为2。在yarn下使用

你可以通过spark-submit --help或者spark-shell --help来查看这些参数。

参考文献

【1】Spark:Yarn-cluster和Yarn-client区别与联系

【2】Spark on YARN客户端模式作业运行全过程分析

【3】Spark on YARN集群模式作业运行全过程分析

Spark 参数配置的几种方法
萌兔兔MMQ！！
07-25 1788
1.Spark 属性 Spark应用程序的运行是通过外部参数来控制的，参数的设置正确与否，好与坏会直接影响应用程序的性能，也就影响我们整个集群的性能。参数控制有以下方式： （1）直接设置在SparkConf，通过参数的形式传递给SparkContext，达到控制目的。（通过set()方法传入key-value对）比如：val conf = new SparkConf() 　　　　.setMaster(”local[2]“) #注意1 　　　　.setAppName(”test“) 　　　　.set(“spa
SparkSQL参数配置指南
yalongwan01的专栏
09-27 4437
--num-executors 设置任务executor个数，默认值为4，一般调整此参数需要同时调整并行度（参考4）。任务设置executor个数的依据是业务期望任务运行时间，可以先设置一个较小值，通过调整此参数及并行度直到运行时间达到期望。 --executor-cores 设置单个executor的core数，默认为1，建议不要超过2。任务申请的总core数为executor个数*单个e...
spark调优(一)【spark参数介绍】
极客神殿
12-01 2250
1 spark on yarn常用属性介绍 属性名 默认值 属性说明 spark.yarn.am.memory 512m 在客户端模式（client mode）下，yarn应用master使用的内存数。在集群模式（cluster mode）下，使用spark.driver.memory代替。 spark.driver.cores 1 在集群模式（cluster mo
Spark 技术详解
最新发布
u012024132的专栏
09-09 992
基于 Spark SQL 引擎构建的更高级的流处理引擎，提供低延迟、端到端精确一次（exactly-once）的语义保证，是 Spark Streaming 的进化版。： 从各种数据源（HDFS, S3, Kafka, DB）提取数据，进行清洗、转换，最后加载到数据仓库（如 Hive）中。如果某个分区的数据丢失，Spark 可以根据血统（记录了如何从其他 RDD 转换而来）重新计算该分区，而无需备份。: 可扩展的机器学习库，提供了常见的算法（分类、回归、聚类、推荐等）和工具（特征提取、管道）。
Spark参数配置
dianzhouyu2189的博客
09-29 516
转自：http://hadoop1989.com/2015/10/08/Spark-Configuration/ 一、Spark参数设置 二、查看Spark参数设置 三、Spark参数分类 四、Spark性能相关参数 一、Spark参数设置 Spark配置参数，一共有三种方法， 1、 在程序中，直接设置参数，例如： val conf = new Spark...
Spark配置参数
Camu7s的专栏
01-26 3947
以下是整理的Spark中的一些配置参数，官方文档请参考Spark Configuration。 Spark提供三个位置用来配置系统： Spark属性：控制大部分的应用程序参数，可以用SparkConf对象或者Java系统属性设置环境变量：可以通过每个节点的conf/spark-env.sh脚本设置。例如IP地址、端口等信息日志
Spark性能相关参数配置-大全
赵英超的博客
11-14 1708
Spark性能相关参数配置¶ http://spark-config.readthedocs.io/en/latest/# 概述 随着Spark的逐渐成熟完善, 越来越多的可配置参数被添加到Spark中来, 在Spark的官方文档http://spark.apache.org/docs/latest/configuration.html 中提供了这些可配置参数中相当大一部分的
Spark_spark参数配置优先级
迎难而上
11-28 1277
spark-submit 提交的优先级 < scala/java代码中的配置参数 < spark SQL hint。优先级低-》优先级高。
spark参数配置
longlovefilm的博客
07-28 1181
参考链接https://spark.apache.org/docs/2.2.0/configuration.html 分类 参数 含义 平台默认值 建议 资源申请&并行度 spark.executor.cores 一个Executor中同时可以执行的task数目（在Executor内存不变的情况下，executor-cores数越大，平.
基于CDH 6.3.0 搭建 Hive on Spark 及相关配置和调优
05-25
### 基于CDH 6.3.0 搭建 Hive on Spark 及相关配置和调优 #### 概述 随着大数据技术的发展，Hadoop生态系统不断成熟与完善，其中Apache Hive作为数据仓库工具，支持通过SQL语句进行查询、分析存储在Hadoop文件系统...
Spark参数配置和调优，Spark-SQL、Config
Toby的博客
02-22 6465
Spark参数配置和调优，Spark-SQL、Config
Spark 性能相关参数配置详解
03-10
Spark 性能相关参数配置详解
Spark 性能相关参数配置详解1
03-10
Spark 性能相关参数配置详解
spark参数详解
cxy1991xm的博客
06-15 1762
spark的配置参数可以在多个地方配置，以executor的memory为例，有三个地方可以配置 (1)spark-submit的--executor-memory选项 (2)spark-defaults.conf的spark.executor.memory配置 (3)spark-env.sh的SPARK_EXECUTOR_MEMORY配置 优先级：spark-submit --选项 > ...
spark 参数调优3-Shuffle Behavior
热门推荐
Deegue
08-31 1万+
spark参数调优系列 目录地址： https://blog.youkuaiyun.com/zyzzxycj/article/details/81011540   ③ Shuffle Behavior  spark.reducer.maxSizeInFlight 默认48m。从每个reduce任务同时拉取的最大map数，每个reduce都会在完成任务后，需要一个堆外内存的缓冲区来存放结果，如果没有...
Spark参数详解
王傲旗的大数据之路
04-03 765
spark-shell spark-shell是Spark自带的交互式Shell程序，方便用户进行交互式编程，用户可以在该命令行下可以用scala编写spark程序，适合学习测试时使用！ ●示例 spark-shell可以携带参数 spark-shell --master local[N] 数字N表示在本地模拟N个线程来运行当前任务 spark-shell --master local[*] 表示...
spark最详细的参数详解
前方的路在刚开始
10-26 430
关于创建spark-shell的分配参数命令 https://spark.apache.org/docs/latest/running-on-yarn.html 我不信你比它全 看不懂的进去右键google翻译一下,代码是不会进行翻译的，请放心 ...
Spark参数解说
top8488.top大数据
10-24 3455
可以看看自己团队的资源队列的最大内存限制是多少，num-executors乘以executor-memory，就代表了你的Spark作业申请到的总内存量（也就是所有Executor进程的内存总和），这个量是不能超过队列的最大内存量的。此外，如果你是跟团队里其他人共享这个资源队列，那么申请的总内存量最好不要超过资源队列最大总内存的1/3-1/2，避免你自己的Spark作业占用了队列所有的资源，导致别的同学的作业无法运行。默认开启，可以更好的利用当个executor的性能，还能缓解小文件的问题。
Spark 参数说明
Small_Ran的博客
07-02 3047
本篇的主要阐述了Spark 各个参数的使用场景，以及使用的说明与参考；其实主要就是对 Spark 运行过程中各个使用资源的地方，通过调节各种参数来优化资源使用的效率，从而提升Spark作业的执行性能。首先通过大致的 Spark 任务提交流程了解，然后再介绍说明 Spark 各个参数的使用方式，这样更有利于熟悉了解。.........
spark的参数配置
02-14
Spark 参数配置是指在使用 Spark 时对其运行环境进行设置的过程。这些参数可以在启动 Spark 应用程序时通过命令行或配置文件传递，也可以在程序代码中编程方式设置。 常见的 Spark 参数包括： - spark.master：指定 Spark 的集群模式，可以是 local、standalone、yarn、mesos 等。 - spark.executor.memory：指定 Executor 的内存大小。 - spark.driver.memory：指定 Driver 的内存大小。 - spark.cores.max：指定 Spark 可以使用的最大 CPU 核心数。 - spark.shuffle.partitions：指定 Shuffle 操作的分区数。 这些参数的具体配置值取决于你的集群硬件配置和你的 Spark 应用程序的需求。通过适当配置 Spark 参数，可以提高 Spark 应用程序的性能和稳定性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值