Spark分配num-executors，execuor-cores和executor-memory

最新推荐文章于 2022-11-24 18:14:27 发布
最新推荐文章于 2022-11-24 18:14:27 发布
阅读量1.1w 收藏 28
点赞数 5
CC 4.0 BY-SA版权
分类专栏： Spark 文章标签： spark参数 executor-memory
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/lingeio/article/details/91990512

spark配置参数设置

driver.memory ：driver运行内存，默认值512m，一般2-6G
num-executors ：集群中启动的executor总数
executor.memory ：每个executor分配的内存数，默认值512m，一般4-8G
executor.cores ：每个executor分配的核心数目

yarn.am.memory ：AppMaster内存，默认值512m
yarn.am.memoryOverhead ：am堆外内存，值为 AM memory * 0.07, 最小384
yarn.driver.memoryOverhead ：driver堆外内存，Max(384MB, 7% of spark.executor.memory)
yarn.executor.memoryOverhead ：executor堆外内存，值为 executorMemory * 0.07, 最小384

每个executor从Yarn请求的内存 =  

executor.memory + yarn.executor.memoryOverhead

 

spark on yarn模式，yarn资源管理设置

yarn.app.mapreduce.am.resource.mb ：AM能够申请的最大内存，默认值为1G，一般1-2G
yarn.nodemanager.resource.memory-mb ：nodemanager能够申请的最大内存，默认值为8G
yarn.scheduler.maximum-allocation-mb ：调度时一个container能够申请的最大资源，默认值为8G

 

 

最低0.47元/天 解锁文章

200万优质内容无限畅学
spark性能调优：num-executors, execuor-cores, executor-memory
lukabruce的博客
07-21 3918
spark性能调优
Spark性能调优： num-executors, execuor-cores, executor-memory 配置建议
weixin_42155006的博客
05-21 1659
spark.hadoopRDD.ignoreEmptySplits 默认是false，如果是true，则会忽略那些空的splits，减小task的数量。 spark.hadoop.mapreduce.input.fileinputformat.split.minsize 是用于聚合input的小文件，用于控制每个mapTask的输入文件，防止小文件过多时候，产生太多的task。 spark.sql.autoBroadcastJoinThreshold 和spark.sql.broadcastTimeout.
spark中num-executors，executor-cores，executor-memory调参的艺术
qq_31957747的博客
10-26 5072
在跑Spark-On-Yarn程序的时候，往往会对几个参数（num-executors，executor-cores，executor-memory等）理解很模糊，从而凭感觉地去指定值，这是不符合有追求程序员信仰的。因此，搞懂它们，很有必要。 本文翻译自https://spoddutur.github.io/spark-notes/distribution_of_executors_cores_and_memory_for_spark_application.html。 译文如下： 是否曾经想要知道如何
SPARK 中 DriverMemory和ExecutorMemory
weixin_30898109的博客
11-25 1802
spark中，不论spark-shell还是spark-submit，都可以设置memory大小，但是有的同学会发现有两个memory可以设置。分别是driver memory 和executor memory。 从名字上大概可以猜出大概。具体就是说driver memory并不是master分配了多少内存，而是管理多少内存。换言之就是为当前应用分配了多少内存。 executor memory...
spark num-executor executor-memory executor-cores
祁东握力的博客
05-28 422
https://www.cnblogs.com/xjh713/p/7309426.html num-executors 参数说明：该参数用于设置Spark作业总共要用多少个Executor进程来执行。Driver在向YARN集群管理器申请资源时，YARN集群管理器会尽可能按照你的设置来在集群的各个工作节点上，启动相应数量的Executor进程。这个参数非常之重要，如果不设置的话，默认只会给你启动少量的Executor进程，此时你的Spark作业的运行速度是非常慢的。 参数调优建议：每个Spark.
解决CDH SparkStreaming任务启动之后executor不停增长的问题,num-executors配置不管用。...
五哥的酒馆
08-02 4272

 
 spark2-submit --class SparkKafka --master yarn --executor-memory 1G --num-executors 6 --driver-memory 1g \
 --conf spark.driver.supervise=true \
 --conf spark.dynamicAl...
001:spark-submit提交参数之num-executors，num-executors，executor-cores
热门推荐
需求是无耻的
01-04 1万+
1.num-executors 参数说明： 该参数用于设置Spark作业总共要用多少个Executor进程来执行。Driver在向YARN集群管理器申请资源时，YARN集群管理器会尽可能按照你的设置来在集群的各个工作节点上，启动相应数量的Executor进程。这个参数非常之重要，如果不设置的话，默认只会给你启动少量的Executor进程，此时你的Spark作业的运行速度是非常慢的。 参数调优
如何为Spark应用程序分配--num-executors，--execuor-cores和--executor-memory
Lestat.Z.的博客
03-01 1万+
前言 在我们提交spark程序时，应该如何为Spark集群配置–num-executors， - executor-memory和–execuor-cores 呢？ 一些资源参数设置的基本知识 Hadoop / Yarn / OS Deamons 当我们使用像Yarn这样的集群管理器运行spark应用程序时，会有几个守护进程在后台运行，如NameNode，Secondary NameNode，...
spark 指定相关的参数配置 num-executor executor-memory executor-cores
weixin_30596165的博客
08-08 774
num-executors参数说明：该参数用于设置Spark作业总共要用多少个Executor进程来执行。Driver在向YARN集群管理器申请资源时，YARN集群管理器会尽可能按照你的设置来在集群的各个工作节点上，启动相应数量的Executor进程。这个参数非常之重要，如果不设置的话，默认只会给你启动少量的Executor进程，此时你的Spark作业的运行速度是非常慢的。参数调优建议：每个...
Redis 中spark参数executor-cores引起的异常解决办法
09-09
主要介绍了Redis 中spark参数executor-cores引起的异常解决办法的相关资料,需要的朋友可以参考下
spark提交命令 spark-submit 的参数 executor-memory、executor-cores、num-executors、spark.default.parallelism分析
あずにゃん梓喵的博客
07-19 6930
Impala 操作/读写 Kudu，使用druid连接池 Kudu 原理、API使用、代码 Kudu Java API 条件查询 spark读取kudu表导出数据为parquet文件（spark kudu parquet） kudu 导入/导出 数据 Kudu 分页查询的两种方式 map、flatMap(流的扁平化)、split 的区别 Spark(SparkSql) 写数据到 ...
Spark Yarn内存资源计算分析（参考）--Executor Cores、Nums、Memory优化配置
Alex的博客
03-18 2455
Spark on Yarn Executor Cores、Nums、Memory优化配置 三方面内容：executor 核心数目，executor 数量，executor 内存。对于driver memory 这个参数，设置比较灵活，一般1-8，这里不就不多说 设置以上三个参数，除了计算集群的节点数、节点Cores和内存大小外，还需要考虑以下四点因素： spark使用yarn做资源管理，yarn后台使用一些守护进程中运行的，如NameNode，Secondary NameNode，DataNode，J
Spark --如何合理地设置executor-memory、executor-cores、num-executors
patrick_big_data的博客
03-15 1万+
文章目录参数介绍以下4点建议需要牢记配置参数方法一：Tiny executors（One Executor per core）方法二：Fat executors (One Executor per node)方法三：Balance between Fat (vs) Tiny方法四：在方法三基础上每个executor不需要这么多内存参考网址 参数介绍 executor-memory 表示分配给每个e...
spark executor的个数和并行任务的个数优化 spark优化
qq_41018861的博客
10-07 5506
spark executor的个数和并行任务的个数合理的core，memory比例以及并行度是能显著提升spark执行效率。也是spark优化的一个重点 spark executor 数量 指定spark executor 数量的公式 executor_num = spark.cores.max/spark.executor.cores 参数说明： spark.cores.max 是指你的spark程序需要的总核数 spark.executor.cores 是指每个executor需要的核数 .
spark如何合理的分配资源（executor-memory,num-executors,executor-cores）
dkk2014的博客
06-30 2404
以下为经验之谈，结合个人对spark框架的理解，如有错误，欢迎指正。 以yarn为例： 一。executor-memory，在集群资源允许的情况下，当然越多越好，个人建议上限为单个containers最大值的75%。 二。num-executors和executor-cores，由于执行任务的并发数=num-executors * executor-cores 。所以这一点经常会思考是100*1好，还是50*2比较好。 1.假设shuffer压力不大， ①在数据分布均匀，executor-memo
【总结】Spark任务的core，executor，memory资源配置方法
weixin_33713503的博客
03-18 990
执行Spark任务，资源分配是很重要的一方面。如果配置不准确，Spark任务将耗费整个集群的机缘导致其他应用程序得不到资源。 怎么去配置Spark任务的executors，cores，memory，有如下几个因素需要考虑： 数据量 任务完成时间点 静态或者动态的资源分配 上下游应用 Spark应用当中术语的基本定义： Partitions : 分区是大型分布式数据集的一小部分。 Spark使...
spark on yarn 的 executor、cores、driver 作用及配置
骑着蜗牛向前跑的博客
11-24 3205
当然内存空间也不是越大越好，要大了集群分配不出来，yarn 直接将任务 kill 了，不过一定程度上提高资源的申请的确可以提高任务执行的效率。提交的应用程序在 AM 中运行起来就是一个 driver，它构建 sparkContext 对象、DAGScheduler 对象、TaskScheduler 对象、将 RDD 操作解析成有向无环图、依据宽窄依赖划分 stage、构建 task、封装 taskSet 等等，这些操作都需要占用内存空间，driver-memory 就是为其分配内存。
Spark yarn 模式设置执行器 executor 的核心数目（core number）、数量以及内存
wx6gml18的博客
12-24 5333
按需静态设置 参考链接：Stack Overflow 接下来的回复包含了标题中的三方面内容：executor 核心数目，executor 数量，executor 内存。例如 driver memory 这样的参数原文并没有提及。 案例：6 个节点，每个节点 16 核 + 64 GB RAM 由于每个 executor 都是一个 JVM 实例，所以我们可以给每个节点分配多个 executor。 为系统的运行保留资源 文章原文的内容是：为了保证操作系统和 hadoop 进程的运行，每个节点要预留 1 个核心
spark-shell --master yarn --queue ga_yj --executor-memory 2G --num-executors 10 --driver-memory 2g
最新发布
03-26
<think>嗯，用户想要在启动Spark shell时配置YARN集群参数，包括队列、执行内存和驱动程序内存的设置。首先，我需要回忆一下Spark on YARN的相关配置。记得YARN有两种模式，客户端模式和集群模式，但Spark shell通常是在客户端模式下运行的，因为需要交互式环境。所以用户的问题可能是在客户端模式下配置这些参数。 接下来，用户提到的队列设置，应该是YARN的资源队列，对应Spark的配置参数是spark.yarn.queue。需要确认这个参数的正确写法，比如设置为特定的队列名，例如default。 然后是执行内存，也就是每个executor的内存，这通常由spark.executor.memory参数控制。而驱动程序内存，在客户端模式下，应该用spark.driver.memory来设置，因为此时Driver运行在本地客户端，而不是YARN的Application Master。 需要提醒用户，在YARN模式下，某些资源参数可能会被YARN的配置所限制，比如如果YARN的单个容器最大内存设置较低，用户申请的内存不能超过这个值。此外，还要注意Spark shell默认会占用所有可用资源，可能需要限制executor的数量，比如通过--num-executors参数。 还要检查引用中的内容，比如引用[1]提到在集群模式下使用spark.driver.memory，但在客户端模式下，这个参数同样适用，因为Driver在客户端运行。引用[2]和[4]提到了如何提交任务和配置YARN的环境变量，比如设置YARN_CONF_DIR，这可能在配置Spark on YARN时需要用到。 用户可能的问题还包括如何验证配置是否生效，可能需要查看YARN的Web UI或者Spark shell的输出日志。此外，配置文件的位置，比如spark-defaults.conf，或者直接在命令行传递参数，都是配置的方法。 需要确保语法正确，比如参数前的双横杠，以及正确的参数名称。例如，--conf spark.yarn.queue=production这样的格式。另外，组合多个配置参数时，每个--conf后面接一个键值对，或者使用多个--conf选项。 最后，生成相关问题的时候，要考虑用户可能进一步的问题，比如性能调优、日志查看、动态资源分配等，这些都可以作为相关问题提出。</think>根据YARN集群模式配置要求，Spark Shell的配置需通过spark-submit参数或配置文件实现。以下是具体配置步骤： ### 一、基础配置方法 1. **队列设置** 通过`spark.yarn.queue`参数指定资源队列： ```bash spark-shell --master yarn \ --conf spark.yarn.queue=your_queue_name ``` 2. **执行器内存配置** 使用`spark.executor.memory`设置单个执行器内存（需符合YARN容器最大内存限制[^4]）： ```bash --conf spark.executor.memory=4g ``` 3. **驱动程序内存设置** 客户端模式下通过`spark.driver.memory`配置本地JVM内存[^1]： ```bash --conf spark.driver.memory=2g ``` ### 二、完整配置示例 ```bash spark-shell --master yarn \ --conf spark.yarn.queue=production \ --conf spark.driver.memory=2g \ --conf spark.executor.memory=4g \ --conf spark.executor.cores=2 \ --conf spark.executor.instances=5 ``` ### 三、关键配置验证 1. 查看YARN Web UI确认资源申请是否符合预期[^3] 2. 检查Spark日志中的`Applied configuration properties`段落 3. 在Spark Shell中执行`sc.getConf.getAll`查看生效参数 ### 四、注意事项 1. YARN的`yarn.scheduler.maximum-allocation-mb`会限制单个容器最大内存[^4] 2. Spark Shell默认使用客户端模式，无法切换为集群模式 3. 内存配置格式必须符合`数字+单位`规范（如512m、2g）
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

訾零

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值