Spark资源优化

最新推荐文章于 2023-10-05 12:26:38 发布

原创

最新推荐文章于 2023-10-05 12:26:38 发布 · 739 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#资源调优

提交Spark程序时，资源调优是必须的，否则会默认运行2个executor，每个executor内存1G。这里主要针对资源利用做个总结。

主要涉及

--num-executors
--executor-memory
--executor-cores
--conf spark.default.parallelism

服务器节点YARN可用资源

服务器	单节点cores	总cores	单节点内存	总内存
3台

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

訾零

关注关注

2
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

Spark性能优化之-资源调优

qq_31910941的博客

05-19

452

文章目录概述Spark作业基本运行原理资源参数调优num-executorsexecutor-memoryexecutor-coresdriver-memoryspark.default.parallelismspark.storage.memoryFractionspark.shuffle.memoryFraction资源参数参考示例概述在开发完Spark作业之后，就该为作业配置合适的资源了。Spark的资源参数，基本都可以在spark-submit命令中作为参数设置。很多Spark初学者，通常不知道

spark性能调优（二）之资源调优

墨殇

07-01

622

前言：理解资源调优，说白了就是为spark程序提供合理的内存资源、cpu资源等。所以需要知道有哪些参数可以设置这些资源。 –conf PROP=VALUE 手动给sparkConf指定相关配置，比如–conf spark.serializer=org.apache.spark.serializer.KryoSeri...

参与评论您还未登录，请先登录后发表或查看评论

Spark资源调优

u012137473的博客

12-31

409

Spark资源调优

精选资源

Spark性能优化：资源调优篇

02-26

在开发完Spark作业之后，就该为作业配置合适的资源了。Spark的资源参数，基本都可以在spark-submit命令中作为参数设置。很多Spark初学者，通常不知道该设置哪些必要的参数，以及如何设置这些参数，最后就只能胡乱...

精选资源

Spark性能优化：数据倾斜调优

02-01

继《Spark性能优化：开发调优篇》和《Spark性能优化：资源调优篇》讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后，本文作为《Spark性能优化指南》的高级篇，将深入分析数据倾斜调优与shuffle调优，以...

spark3.0优化总结

04-19

在本篇文章中，我们将讨论 Spark 3.0 优化的总结，涵盖了读取数据的优化、资源配置的优化、CPU 资源的合理利用等方面的知识点。读取数据的优化读取数据是 Spark 应用的基本操作，对其进行优化可以大大提高应用的...

Spark优化

weixin_39458365的博客

10-05

1281

stage的task在运行的时候，可能要从一些Executor中去拉取shuffle map output文件，但是Executor可能已经由于内存溢出挂掉了，其关联的BlockManager也没有了，这就可能会报出shuffle output file cannot find，executor lost，task lost，out of memory等错误，此时，就可以考虑调节一下Executor的堆外内存，也就可以避免报错，与此同时，堆外内存调节的比较大的时候，对于性能来讲，也会带来一定的提升。

Spark性能优化-------资源调优

图特摩斯科技-博客

09-21

1274

为作业配置合适的资源，Spark的资源参数，基本都可以在spark-submit命令中作为参数设置。 Spark作业基本运行原理 X 使用spark-submit提交一个Spark作业后，这个作业就会启动一个对应的Driver进程，根据使用的部署模式（deploy-mode）不同，Driver进程可能在本地启动，也可能在集群中某个工作节点上启动。Driver进程本身会根据设置

Spark yarn 模式设置执行器 executor 的核心数目（core number）、数量以及内存

wx6gml18的博客

12-24

5447

按需静态设置参考链接：Stack Overflow 接下来的回复包含了标题中的三方面内容：executor 核心数目，executor 数量，executor 内存。例如 driver memory 这样的参数原文并没有提及。案例：6 个节点，每个节点 16 核 + 64 GB RAM 由于每个 executor 都是一个 JVM 实例，所以我们可以给每个节点分配多个 executor。为系统的运行保留资源文章原文的内容是：为了保证操作系统和 hadoop 进程的运行，每个节点要预留 1 个核心

spark on yarn 的 executor、cores、driver 作用及配置

骑着蜗牛向前跑的博客

11-24

3323

当然内存空间也不是越大越好，要大了集群分配不出来，yarn 直接将任务 kill 了，不过一定程度上提高资源的申请的确可以提高任务执行的效率。提交的应用程序在 AM 中运行起来就是一个 driver，它构建 sparkContext 对象、DAGScheduler 对象、TaskScheduler 对象、将 RDD 操作解析成有向无环图、依据宽窄依赖划分 stage、构建 task、封装 taskSet 等等，这些操作都需要占用内存空间，driver-memory 就是为其分配内存。

运行在YARN上的Spark程序的Executor，Cores和Memory的分配

杜海的博客

12-25

1033

在跑Spark-On-Yarn程序的时候，往往会对几个参数（num-executors，executor-cores，executor-memory等）理解很模糊，从而凭感觉地去指定值，这是不符合有追求程序员信仰的。因此，搞懂它们，很有必要。本文翻译自https://spoddutur.github.io/spark-notes/distribution_of_executors_cores_a...

Spark：技术点总结

qq_24325581的博客

04-25

2669

一、发生oom的解决方案一、Driver 内存不够 1、读取数据太大 -、增加Driver内存，–driver-memory 2、数据回传 -、collect会造成大量数据回传Driver，使用foreach 二、Executor 内存不够 1、map 类操作产生大量数据，包括 map、flatMap、filter、mapPartitions等 -、使用repartition，减少每个 task 计算数据的大小，从而减少每个 task 的输出 -、减少中间输出：用 mapPartitions 替代多个 m

Spark On Yarn 中Executor 内存分配的机制

zhuiqiuuuu的博客

01-18

8788

问题导读1. Spark On Yarn 下executor-memory 参数如何生效？2. Cluster 和 Client 模式中内存开销的区别？3. 规整化因子是什么？综述提交任务时，配置的executor-memory 的参数，设置为6g，结果实际运行中，占据的资源算下来，每个executor 使用的却接近7个g，被管理集群的同事找上门，逃。那么，为何会配置的参数没有生效呢？...

Spark内存资源分配——spark.executor.memory等参数的设置方法