如何为Spark应用程序分配--num-executors，--execuor-cores和--executor-memory

小糖宝 小糖宝 博客等级 墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 300+累计阅读 370平均单平台 已同步平台 优快云 微信公众号 微博 知乎 掘金 百家号 博客园 抖音 小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网 我也要 码龄9年
关注
转载 最新推荐文章于 2026-06-12 09:33:12 发布 370 阅读 AI 写同款· GEO 优化 ›
spark 关于spark-submit 参数调优策略 --sparksubmit    --num-executors           该参数主要用于设置该应用总共需要多少executors来执行，Driver在向集群资源管理器申请资源时需要根据此参数决定分配的Executor个数，并尽量满足所需。在不带的情况下只会分配少量Executor。这个值得设置还是要看分配的队列的资源情况，太少了无法充分利用集群资源，太多了则难以分配需要的资源。   ... 阅读详情

转载源：https://blog.youkuaiyun.com/yolohohohoho/article/details/88056381

收录于
Spark

当前文章被收录于：

Spark
25 篇文章 0 人学习
订阅专栏 查看详情
大数据

当前文章被收录于：

大数据
9 篇文章 0 人学习
订阅专栏 查看详情
Spark-submit

当前文章被收录于：

Spark-submit
4 篇文章 0 人学习
订阅专栏 查看详情
原文链接：https://blog.youkuaiyun.com/yolohohohoho/article/details/88056381>
Spark --如何合理地设置executor-memory、executor-cores、num-executors 文章目录参数介绍以下4点建议需要牢记配置参数方法一：Tiny executors（One Executor per core）方法二：Fat executors (One Executor per node)方法三：Balance between Fat (vs) Tiny方法四：在方法三基础上每个executor不需要这么多内存参考网址 参数介绍 executor-memory 表示分配给每个e... 阅读详情

相关推荐

spark性能调优：num-executors, execuor-cores, executor-memory

spark性能调优

lukabruce的博客 4176

Spark分配num-executors，execuor-cores和executor-memory

spark配置参数设置 driver.memory：driver运行内存，默认值512m，一般2-6G num-executors：集群中启动的executor总数 executor.memory：每个executor分配的内存数，默认值512m，一般4-8G executor.cores ：每个executor分配的核心数目 yarn.am.memory：AppMaster内存，默...

L, there! 1万+

电赛备赛笔记：用STM32驱动AD9959信号发生器模块，从接线到出波保姆级教程

本文详细介绍了如何使用STM32驱动AD9959信号发生器模块，从硬件接线到软件调试的全流程。AD9959作为高性能DDS芯片，适用于电子设计竞赛中的信号生成需求。文章包含硬件连接指南、寄存器配置解析、多通道控制技巧以及常见问题解决方案，帮助参赛者快速掌握AD9959的应用。

weixin_31858171的博客 368

spark提交命令 spark-submit 的参数 executor-memory、executor-cores、num-executors、spark.default.parallelism分析

Impala 操作/读写 Kudu，使用druid连接池 Kudu 原理、API使用、代码 Kudu Java API 条件查询 spark读取kudu表导出数据为parquet文件（spark kudu parquet） kudu 导入/导出 数据 Kudu 分页查询的两种方式 map、flatMap(流的扁平化)、split 的区别 Spark(SparkSql) 写数据到 ...

あずにゃん梓喵的博客 7390

工厂自动化布线实战：从功率计算到线槽布局的完整避坑指南

本文详细介绍了工厂自动化布线的实战经验，从功率计算到线槽布局的完整避坑指南。通过三步计算法确定线径需求，强调电压降控制的重要性，并分享线槽布局的50%法则和强弱电分离技巧。特别针对移动设备和多芯信号线提供专业解决方案，帮助工程师避免常见错误，提升布线效率和质量。

weixin_29266007的博客 355

5分钟搞定微服务架构图：手把手教你用Draw.io画出专业级设计

本文详细介绍了如何使用Draw.io快速绘制专业级微服务架构图。通过5分钟入门教程，掌握核心组件拖拽、连接线优化等技巧，提升系统设计可视化效率。特别适合需要快速呈现分布式系统架构的开发团队，利用内置微服务元素和分层展示功能，轻松创建清晰易懂的技术文档。

pz890123的博客 1245

spark 参数配置及内存模型

1spark 提交主要参数 1.1 num-executors 此数量代表 spark的executors数量， 所有的task在executor中运行。 1.2 executor-cores 此数值代表每个 executor中可以并行运行的task数。 一般一个任务使用1核，此值等同于1个executor占用的CPU核心数。 1.3 executor-memory 此参数指定了每个 executor占用的内存。 注： 即使是executor-cores=4，并行运算的4个...

peidezhi的专栏 7565

致远OA系统表单相关操作记录（一）

致远OA系统表单相关操作

weixin_59666050的博客 6105

如何为Spark集群配置–num-executors， – executor-memory和–execuor-cores

前言 在我们提交spark进程时，应该如何为Spark集群配置–num-executors， - executor-memory和–execuor-cores 呢？ 一些资源参数设置的基本知识 Hadoop / Yarn / OS Deamons 当我们使用像Yarn这样的集群管理器运行spark应用进程时，会有几个守护进程在后台运行，如NameNode，Secondary NameNod...

jiede1的博客 2679

从零开始学华为设备：手把手教你用ENSP搭建OSPF实验环境（附拓扑文件）

本文详细介绍了如何使用华为ENSP模拟器从零开始搭建OSPF多区域网络实验环境，包括拓扑规划、设备配置、OSPF参数优化及故障排查技巧。通过实战案例和配置示例，帮助网络工程师快速掌握华为设备的OSPF协议配置，提升企业网络环境中的实战能力。

weixin_29305313的博客 287

永磁同步电机矢量控制——电流内环前馈解耦策略

在采用永磁同步电机矢量控制时，ud和uq的指令值存在耦合项。需要对其进行解耦，目前，常用的解耦设计方法有前馈解耦、偏差解耦以及内模控制，本文主要分享电流内环前馈解耦控制策略。

a12312341ll的博客 8699

Spark性能调优： num-executors, execuor-cores, executor-memory 配置建议

spark.hadoopRDD.ignoreEmptySplits 默认是false，如果是true，则会忽略那些空的splits，减小task的数量。 spark.hadoop.mapreduce.input.fileinputformat.split.minsize 是用于聚合input的小文件，用于控制每个mapTask的输入文件，防止小文件过多时候，产生太多的task。 spark.sql.autoBroadcastJoinThreshold 和spark.sql.broadcastTimeout.

weixin_42155006的博客 1757

【产品经理修炼之道】- 基金产品-“TA系统 ”

TA：Transfer Agent 缩写，通常称成“登记过户”。开放式基金登记过户（TA）系统是基金的登记过户系统。其功能涵盖了基金交易业务的各个环节，包括账户业务处理，如投资者开户、修改账户资料、挂失/解挂等；日常交易业务处理，如认购、申购（一般申购和定期定额）、赎回（一般赎回、指定赎回、预约赎回等）、转托管、基金转换等；特殊业务处理，如非交易过户、账户冻结/解冻等；分红业务处理，如现金分红和红利再投资。

xiaoli8748的专栏 1679

spark中num-executors，executor-cores，executor-memory调参的艺术

在跑Spark-On-Yarn程序的时候，往往会对几个参数（num-executors，executor-cores，executor-memory等）理解很模糊，从而凭感觉地去指定值，这是不符合有追求程序员信仰的。因此，搞懂它们，很有必要。 本文翻译自https://spoddutur.github.io/spark-notes/distribution_of_executors_cores_and_memory_for_spark_application.html。 译文如下： 是否曾经想要知道如何

qq_31957747的博客 5275

PTC Creo软件二次开发：使用C++进行Creo二次开发实战

C++是一种静态类型的、编译式的、通用的、大小写敏感的、不规则的编程语言，支持过程化编程、面向对象编程和泛型编程。由Bjarne Stroustrup在贝尔实验室开发，最初作为C语言的增强版出现，后来发展成为一种独立的语言。C++不仅保留了C语言的高效性和灵活性，还引入了类、模板、命名空间等高级特性，使其成为开发复杂系统和软件的理想选择。

kkchenjj的博客 4047

android 蓝牙通讯demo

android 下蓝牙通讯demo，实现了发现蓝牙，使能蓝牙，通过蓝牙发送消息。

大数据面试题——Spark资源调优（六）

1、资源运行情况 2、资源运行中的集中情况 （1）实践中跑的Spark job，有的特别慢，查看CPU利用率很低，可以尝试减少每个executor占用CPU core的数量，增加并行的executor数量，同时配合增加分片，整体上增加了CPU的利用率，加快数据处理速度。 （2）发现某job很容易发生内存溢出，我们就增大分片数量，从而减少了每片数据的规模，同时还减少并行的executor数量，这样相同的内存资源分配给数量更少的executor，相当于增加了每个task...

qq_41544550的博客 1208

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具，可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

解决 Spark yarn 任务启动之后executor不停增长的问题,num-executors配置不管用

spark2-submit --class SparkKafka \ --master yarn \ --executor-memory 1G \ --num-executors 6 \ --driver-memory 1g \ --conf spark.driver.supervise=true \ --conf spark.dynamicAllocation.maxExecutors=6 \ -- 限制最大executor --conf spark.streaming.kafka.maxRate.

onway_goahead的博客 2308

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

温度PID控制PLC程序

温度PID稳定控制程序，适用于欧姆龙PLC，对其他PLC也具有很大参考价值

Spark参数设置总结

Spark参数总结 1、num-executors参数 该参数设置Spark作业总共需要多少个Executor进程来执行。Driver向YARN申请资源时，YARN管理器会按照你设置的，在各个WorkNode上启动相应的Executor进程 注释：Executor为JVM进程，用于运行和处理Task（分区数据） 2、executor-memory参数 该参数用于设置每个Executor进程的内存。...

圣贤的博客 1560

SparkSQL参数配置指南

--num-executors 设置任务executor个数，默认值为4，一般调整此参数需要同时调整并行度（参考4）。任务设置executor个数的依据是业务期望任务运行时间，可以先设置一个较小值，通过调整此参数及并行度直到运行时间达到期望。 --executor-cores 设置单个executor的core数，默认为1，建议不要超过2。任务申请的总core数为executor个数*单个e...

yalongwan01的专栏 4538

Spark性能调优系列：Spark资源模型以及调优

Spark资源模型 Spark内存模型 Spark在一个Executor中的内存分为三块，execution内存、storage内存、other内存。 execution内存是执行内存，join、aggregate都在这部分中执行，shuffle的数据也会先缓存在这个内存中，满了再写入磁盘，能够减少IO，Map过程也是在这个内存中执行的。（0.25） storage内存是存储broad...

Mr.Cao 518

Spark Yarn内存资源计算分析（参考）--Executor Cores、Nums、Memory优化配置

Spark on Yarn Executor Cores、Nums、Memory优化配置 三方面内容：executor 核心数目，executor 数量，executor 内存。对于driver memory 这个参数，设置比较灵活，一般1-8，这里不就不多说 设置以上三个参数，除了计算集群的节点数、节点Cores和内存大小外，还需要考虑以下四点因素： spark使用yarn做资源管理，yarn后台使用一些守护进程中运行的，如NameNode，Secondary NameNode，DataNode，J

Alex的博客 2693

Spark调优-参数及配置

参数调优 1 资源类 11 num-executors 12 executor-memory 13 executor-cores 14 driver-memory 15 sparkdefaultparallelism 16 sparkstoragememoryFraction 17 sparkshufflememoryFraction getMaxExecutionMemory getMaxSto

朱金华的专栏 1万+
上一篇： Spark处理csv文件和Parquet文件速度对比
下一篇： 基于Spark2.0 RandomForest(cv验证) 规范化流程
点赞 0
评论 0
书签 书签 0
小糖宝
小糖宝
博客等级 码龄9年 47粉丝 46原创
+ 关注 专栏目录 订阅专栏
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值