Spark On YARN自动调整Executor数量配置 - Dynamic Resource Allocation

最新推荐文章于 2025-03-31 20:25:36 发布
原创 最新推荐文章于 2025-03-31 20:25:36 发布 · 4.6k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍如何在Spark 1.5.2版本中配置动态资源调整功能，通过调整Executor数量来优化Spark on YARN模式下的任务执行效率。包括配置yarn-site.xml、复制必要jar文件及设置spark-defaults.conf等步骤。
Spark 1.5.2版本支持为Spark On YARN模式的Spark Application根据Task自动调整Executor数，要启用该功能，需做以下操作：

一：在所有的NodeManager中，修改yarn-site.xml，为yarn.nodemanager.aux-services添加spark_shuffle值，设置yarn.nodemanager.aux-services.spark_shuffle.class值为org.apache.spark.network.yarn.YarnShuffleService，如下：
修改：

点击(此处)折叠或打开

  1. <property>
  2. <name>yarn.nodemanager.aux-services</name>
  3. <value>mapreduce_shuffle,spark_shuffle</value>
  4. </property>
添加：

点击(此处)折叠或打开

  1. <property>
  2. <name>yarn.nodemanager.aux-services.spark_shuffle.class</name>
  3. <value>org.apache.spark.network.yarn.YarnShuffleService</value>
  4. </property>

  6. <property>
  7. <name>spark.shuffle.service.port</name>
  8. <value>7337</value>
  9. </property>

二：将 $SPARK_HOME/lib/spark-1.5.2-yarn-shuffle.jar 文件拷贝到hadoop/lib （hadoop lib）目录下，我的是/usr/lib/hadoop/lib/这个路径下，有些文章还说拷贝到/usr/lib/hadoop-yarn/lib/（yarn lib）或者软连接处理

备注：
这个操作在所有的 nodemanager 中操作


三：配置 $SPARK_HOME/conf/spark-defaults.conf，内容如下

spark.dynamicAllocation.minExecutors 1 #最小Executor数
spark.dynamicAllocation.maxExecutors 100 #最大Executor数

开启自动调节
spark.dynamicAllocation.enabled true
spark.shuffle.service.enabled true

四：执行时开启自动调整Executor数开关，以spark-sql yarn client模式为例：

spark-sql  --master yarn-client --conf spark.shuffle.service.enabled=true --conf spark.dynamicAllocation.enabled=true -e "SELECT COUNT(*) FROM xx"

这里的--conf spark.shuffle.service.enabled=true --conf spark.dynamicAllocation.enabled=true 如果在spark-defaults.conf设置开启就可以省略了

对于使用spark-submit也是一样：
    spark-submit \
    --class SySpark.SqlOnSpark \
    --master yarn-client \
    --conf spark.shuffle.service.enabled=true \
    --conf spark.dynamicAllocation.enabled=true \
    /data/jars/SqlOnSpark.jar \
    "SELECT COUNT(*) FROM xx"

参考：
http://blog.chinaunix.net/uid-22570852-id-5182664.html
http://lxw1234.com/archives/2015/12/593.htm
https://spark.apache.org/docs/1.5.2/job-scheduling.html#default-behavior-of-pools
为什么 Spark UI 上显示的 Executor Cores 与 Yarn 上的 vCore 数量不符？
Laurence的技术博客
08-24 732
你可能会在自己的集群上观察到：Spark UI 上显示的 Executor Cores 与 Yarn 上的 vCore 数量是不符的，本文将会给出详细解释。本文和《为什么我的集群一个 Spark Executor / Yarn Container 只有一个vCore?》一文有比较密切的关系，建议先阅读一下此文，本文可以看作是这篇文章的“补充”，因为原文只讨论了Yarn上的情况，并没有Spark UI和本地实际资源分配的讨论和验证！
关于 Spark on Yarn 的资源分配与 Capacity Scheduler 的研究
Laurence的技术博客
06-18 3622
文章目录1.启用CapacityScheduler2.集群信息与配置2.1.yarn.nodemanager.resource.xxx2.2.yarn.scheduler.minimum/maximum-xxxx3.SparkonYarn的内存模型4.user-limit-factor：单用户时提升资源利用率的重要因子5.规整化因子6.测试队列资源划分方案7.测试计划7.1.用例一7.2.用例二7.3.用例三7.2.用例四8.小结 资源调度永远是一个对立统一的问题，在一个限
spark中excutor的个数、内存大小、core的个数、task的个数、分区的个数、集群的资源情况等的关系
yang灬仔
09-13 5614
一、Spark性能调优之资源分配大体上这两个方面：core memory （1）、分配哪些资源？ executor、core per executor、memory per executor、driver memory （2）、在哪里分配这些资源？ 在我们在生产环境中，提交spark作业时，用的spark-submit shell脚本，里面调整对应的参数 /usr/local/spark/bin/spark-submit \ --class cn.spark.spa...
spark on yarn 的 executor、cores、driver 作用及配置
骑着蜗牛向前跑的博客
11-24 3320
当然内存空间也不是越大越好，要大了集群分配不出来，yarn 直接将任务 kill 了，不过一定程度上提高资源的申请的确可以提高任务执行的效率。提交的应用程序在 AM 中运行起来就是一个 driver，它构建 sparkContext 对象、DAGScheduler 对象、TaskScheduler 对象、将 RDD 操作解析成有向无环图、依据宽窄依赖划分 stage、构建 task、封装 taskSet 等等，这些操作都需要占用内存空间，driver-memory 就是为其分配内存。
Spark yarn 模式设置执行器 executor 的核心数目（core number）、数量以及内存
wx6gml18的博客
12-24 5445
按需静态设置 参考链接：Stack Overflow 接下来的回复包含了标题中的三方面内容：executor 核心数目，executor 数量，executor 内存。例如 driver memory 这样的参数原文并没有提及。 案例：6 个节点，每个节点 16 核 + 64 GB RAM 由于每个 executor 都是一个 JVM 实例，所以我们可以给每个节点分配多个 executor。 为系统的运行保留资源 文章原文的内容是：为了保证操作系统和 hadoop 进程的运行，每个节点要预留 1 个核心
Spark 2.2 on K8S Dynamic Resource Allocation
runzhliu大数据/容器日记
06-18 570
文章目录1 Background2 Practice2.1 spark shuffle service2.2 spark groupbytest3 Summary 1 Background 离线计算的 Spark 任务中，会提供「最小副本数」作为离线计算任务的 Executor 数。也就是说，当 Spark Job 最大的资源数就是500个 Executor，这样会导致 task 数量较多的任务一...
spark 体验点滴- executor 数量 和task 并行数
weixin_34326558的博客
01-04 3213
一.指定spark executor 数量的公式 executor 数量 = spark.cores.max/spark.executor.cores spark.cores.max 是指你的spark程序需要的总核数 spark.executor.cores 是指每个executor需要的核数 二.指定并行的task数量spark.default.parallelism ...
Spark- 由于 dynamicAllocation 导致的 executor 不断增加的坑
迎难而上
02-27 7931
参考文章 ： 解决CDH SparkStreaming任务启动之后executor不停增长的问题,num-executors配置不管用。... https://blog.youkuaiyun.com/arli_xu/article/details/83034577 spark中 Dynamic Allocation 以及 num-executors 的问题 https://blog.csd...
【spark】【在YARN上运行Spark】【Running Spark on YARN】
wq6qeg88的博客
02-17 1341
通常情况下，这并不重要，因为Spark在开始另一个阶段之前完成了一个阶段，唯一可能有影响的情况是在作业服务器类型的场景中，所以需要记住这一点。例如，当运行一个YARN集群，其中运行多个Spark版本的应用程序的混合工作负载时，这可能很有帮助，因为给定版本的shuffle服务并不总是与其他版本的Spark兼容。Spark发行版，由于它已经包含了内置的Hadoop运行时，默认情况下，当作业提交到Hadoop Yarn集群时，为了防止jar冲突，它不会将Yarn的classpath填充到Spark中。
SPARK3 基于YARN的EXECUTOR的动态申请详解
gezooo的专栏
06-05 983
最近工作中遇到RM（ResourceManager）性能慢的问题，研究了一下RM的资源分配流程，因为内部流程还是比较复杂的，为了以后方便查阅，记录一下。在研究YARN容器的生命周期的过程中，从Applicaiton的提交，到最后的完成，整个流程中容器的分配和删除主要是ApplicaitonMaster发起的，由RM内部的Scheduler来管理分配。本篇文章还是聚焦在spark的executor的分配逻辑上， 关于YARN内部container的分配流程计划单独写一篇文章记录，这里就不过多介绍，简要的说明下
spark：Executor分配详解
08-01
用户应用new SparkContext后，集群就会为在Worker上分配executor,但是增加executor的时候需要考虑好内存消耗，因为一台机器的内存分配给越多的executor，每个executor的内存就越小，以致出现过多的数据spill over甚至out of memory的情况。CPU的core数量，每个executor可以占用一个或多个core，可以通过观察CPU的使用率变化来了解计算资源的使用情况，如此根据CPU的使用情况来分配executor数量，没有固定分配数量模式。
spark executor的个数和并行任务的个数优化 spark优化
qq_41018861的博客
10-07 5843
spark executor的个数和并行任务的个数合理的core，memory比例以及并行度是能显著提升spark执行效率。也是spark优化的一个重点 spark executor 数量 指定spark executor 数量的公式 executor_num = spark.cores.max/spark.executor.cores 参数说明： spark.cores.max 是指你的spark程序需要的总核数 spark.executor.cores 是指每个executor需要的核数 .
Spark 动态资源分配(Dynamic Resource Allocation) 解析
allwefantasy的专栏
01-17 1656
Spark 默认采用的是资源预分配的方式。这其实也和按需做资源分配的理念是有冲突的。这篇文章会详细介绍Spark 动态资源分配原理。 前言 最近在使用Spark Streaming程序时，发现如下几个问题： 高峰和低峰Spark Streaming每个周期要处理的数据量相差三倍以上,预分配资源会导致低峰的时候资源的大量浪费。 Spark Stream...
Spark executor中task的数量与最大并发数
小白成小黑
05-28 7034
每个task处理一个partition，一个文件的大小/128M就是task的数量Task的最大并发数当task被提交到executor之后，会根据executor可用的cpu核数，决定一个executor中最多同时运行多少个task。默认情况下一个task对应cpu的一个核。如果一个executor可用cpu核数为8，那么一个executor中最多同是并发执行8个task；...
spark默认的executor是多少
qq_40382400的博客
08-19 339
在spark-default.conf文件中配置。
YARN Container 与 Spark Executor 的数量关系
最新发布
hanwen112的博客
03-31 702
在 Spark on YARN 部署模式下，YARN Container 和 Spark Executor 的数量确实存在对应关系，但并不是简单的一对一关系。
spark on yarn 配置
03-21
<think>嗯，我现在要配置Spark on YARN，但是我对这个过程还不是很熟悉。让我先回忆一下之前学过的相关知识，然后一步步理清楚应该怎么做。首先，Spark on YARN是什么意思呢？我记得YARN是Hadoop的资源管理系统，而Spark作为一个计算框架，可以运行在YARN上，这样就能利用YARN的资源管理功能，不需要Spark自己来管理集群资源了。对吧？ 那配置Spark on YARN的前提条件应该有哪些呢？首先，肯定需要安装好Hadoop，并且YARN已经正确配置和运行。可能还需要确保Hadoop的版本和Spark兼容。然后，Spark本身也需要安装好，对吗？另外，可能需要设置一些环境变量，比如HADOOP_CONF_DIR或者YARN_CONF_DIR，让Spark知道YARN的配置文件在哪里。这部分我记得不太清楚，可能需要查文档确认。 接下来，具体的配置步骤可能包括修改Spark的配置文件，比如spark-defaults.conf，或者在提交应用时通过命令行参数指定。例如，设置spark.master为yarn，这样Spark就知道要连接到YARN集群。对吗？另外，可能需要配置一些资源参数，比如executor的内存、核心数等，这些参数可以通过Spark的配置项或者提交任务时指定。 用户提到的配置，可能需要关注几个关键点：首先是Hadoop配置的集成，然后是Spark本身的配置，还有资源分配和调优的参数。可能还需要考虑权限问题，比如用户是否有权限在YARN上提交应用，或者HDFS的访问权限等。另外，网络配置是否正确，比如各个节点之间能否互相通信，端口是否开放，这些也可能影响Spark on YARN的运行。 有没有可能遇到常见的问题呢？比如Spark应用提交到YARN后，无法申请到资源，或者Executor启动失败。这时候可能需要查看YARN的日志，或者Spark的日志，排查具体原因。例如，资源不足，配置错误，或者类路径问题。比如，有时候需要把Spark的依赖包上传到HDFS，或者在YARN的配置中指定，这样NodeManager能够找到这些依赖。 再想想具体的步骤，可能需要这样： 1. 确保Hadoop YARN已经正确安装和配置，并且正在运行。 2. 下载并安装Spark，解压到合适的目录。 3. 配置环境变量，比如在spark-env.sh中设置HADOOP_CONF_DIR或YARN_CONF_DIR，指向Hadoop的配置文件目录。 4. 在Spark的配置文件spark-defaults.conf中设置spark.master为yarn。 5. 可能需要配置Spark的执行参数，比如spark.executor.memory，spark.executor.cores等。 6. 将应用提交到YARN集群，使用spark-submit命令，并指定deploy-mode为cluster或者client。 还有，不同的部署模式（cluster vs client）有什么区别呢？Cluster模式下，Driver运行在YARN的Application Master中，而Client模式下，Driver运行在提交任务的客户端机器上。这可能影响到日志的查看和应用的稳定性，比如如果客户端断开连接，Client模式的应用可能会失败。 另外，关于Spark on YARN的资源分配，YARN负责管理资源，所以需要正确设置Spark的资源参数，使其不超过YARN集群的总资源。例如，每个executor的内存不能超过YARN容器允许的最大值，否则会被拒绝。可能需要调整YARN的配置参数，比如yarn.scheduler.maximum-allocation-mb，yarn.nodemanager.resource.memory-mb等，以适应Spark的需求。 还有，可能需要注意Spark的依赖问题。当Spark应用提交到YARN时，需要确保所有的依赖包都能被YARN的NodeManager访问到。可以通过--jars参数指定额外的jar包，或者将依赖打包到应用的jar文件中。另外，可能需要设置spark.yarn.jars或spark.yarn.archive，将Spark的库上传到HDFS，这样每次提交应用时不需要重复上传，节省时间。 现在，有没有遗漏的步骤或者配置项？比如，安全方面的配置，比如Kerberos认证，如果Hadoop集群启用了安全模式，那么Spark提交任务时需要进行相应的认证处理。这时候可能需要使用keytab文件或者kinit命令获取凭证。 再检查一下，Spark on YARN的两种模式：client和cluster。在配置的时候，是否需要特别指定？是的，在spark-submit的时候，需要设置--deploy-mode参数为cluster或者client，默认是client吗？还是需要显式指定？ 总结一下，配置Spark on YARN的主要步骤包括： 1. 安装和配置Hadoop YARN。 2. 安装Spark并配置环境变量指向YARN的配置。 3. 调整Spark的配置参数以适应YARN集群的资源管理。 4. 确保依赖项和资源文件正确上传和访问。 5. 使用spark-submit提交应用，并选择合适的部署模式。 可能还需要验证配置是否正确，比如运行一个简单的Spark应用，比如计算Pi的示例，看看是否能成功在YARN上执行。如果失败，查看日志，比如YARN的Application Master日志，或者Spark的日志，找出错误原因进行调整。 比如，如果出现类找不到的问题，可能需要检查spark.yarn.jars是否正确配置，或者是否将必要的jar包上传到了HDFS。如果资源不足，可能需要调整YARN的资源分配参数或者Spark的executor配置。 现在，我应该把这些步骤整理成一个清晰的指南，帮助用户一步步配置Spark on YARN，同时提醒常见的配置项和可能遇到的问题。</think>### Spark on YARN 配置指南 #### 一、核心概念 Spark on YARN 允许 Spark 应用程序利用 YARN（Hadoop 资源管理器）进行资源调度，无需独立部署 Spark 集群。其优势包括： - **资源共享**：与其他 Hadoop 任务（如 MapReduce）共享资源。 - **简化运维**：复用 YARN 的监控、容错和安全机制。 #### 二、前提条件 1. **Hadoop 环境**：已部署 Hadoop（2.x+）且 YARN 正常运行。 2. **Spark 安装**：下载并解压 Spark（需与 Hadoop 版本兼容）。 3. **配置权限**：确保提交任务的用户具有 YARN 队列权限和 HDFS 读写权限。 #### 三、关键配置步骤 ##### 1. **配置 Hadoop 环境变量** 在 Spark 的 `conf/spark-env.sh` 中设置 Hadoop 配置路径： ```bash export HADOOP_CONF_DIR=/path/to/hadoop/etc/hadoop # 指向 Hadoop 配置文件目录 export YARN_CONF_DIR=/path/to/hadoop/etc/hadoop # 同 HADOOP_CONF_DIR ``` ##### 2. **修改 Spark 默认配置** 在 `conf/spark-defaults.conf` 中指定 YARN 模式： ```properties spark.master=yarn spark.yarn.jars=hdfs:///spark-jars/*.jar # 将 Spark 依赖上传至 HDFS（可选但推荐） ``` ##### 3. **资源参数调优** 根据集群资源调整参数（示例）： ```properties spark.executor.memory=4g # 每个 Executor 内存 spark.executor.cores=2 # 每个 Executor 使用的 CPU 核心 spark.driver.memory=2g # Driver 内存（Cluster 模式下由 YARN 管理） ``` ##### 4. **提交 Spark 应用** 使用 `spark-submit` 提交任务时需指定部署模式： ```bash spark-submit \ --class org.apache.spark.examples.SparkPi \ --master yarn \ --deploy-mode cluster \ # 或 client --executor-memory 2g \ --num-executors 4 \ /path/to/spark-examples.jar ``` #### 四、部署模式对比 | **模式** | **Driver 运行位置** | **适用场景** | |------------|-------------------------------|--------------------------| | **Client** | 提交任务的客户端机器 | 调试（日志直接输出到终端） | | **Cluster**| YARN Application Master（AM） | 生产环境（高可用性） | #### 五、常见问题与解决 1. **资源申请失败** - **原因**：YARN 资源不足或参数超限。 - **解决**： - 检查 `yarn.nodemanager.resource.memory-mb` 和 `yarn.scheduler.maximum-allocation-mb`。 - 调低 `spark.executor.memory` 或 `spark.executor.cores`。 2. **依赖缺失** - **现象**：`ClassNotFoundException`。 - **解决**： - 通过 `--jars` 添加额外依赖： ```bash spark-submit --jars /path/to/dependency.jar ... ``` - 或预上传 Spark 依赖到 HDFS： ```bash hdfs dfs -put $SPARK_HOME/jars/*.jar /spark-jars/ ``` 3. **Kerberos 认证问题** - **现象**：任务因权限失败。 - **解决**： - 使用 `kinit` 提前获取凭证： ```bash kinit -kt /path/to/user.keytab user@REALM ``` - 或在 `spark-submit` 中添加参数： ```bash --principal user@REALM --keytab /path/to/user.keytab ``` #### 六、验证配置 运行测试任务（如计算 Pi）： ```bash spark-submit \ --master yarn \ --deploy-mode client \ $SPARK_HOME/examples/jars/spark-examples.jar 100 ``` 观察 YARN Web UI（默认 `http://<ResourceManager>:8088`）确认任务状态。 #### 七、高级配置（可选） - **动态资源分配**： 在 `spark-defaults.conf` 中启用： ```properties spark.dynamicAllocation.enabled=true spark.shuffle.service.enabled=true ``` - **日志聚合**： 确保 YARN 的 `yarn.log-aggregation-enable` 设为 `true`，通过 `yarn logs -applicationId <appId>` 查看日志。 通过以上步骤，您应能完成 Spark on YARN 的基础配置和调优。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值