Spark需要的资源调优（Yarn Cluster模式）

置顶 已于 2023-07-11 10:05:58 修改
阅读量637 收藏 1
点赞数 1
CC 4.0 BY-SA版权
分类专栏： Spark最佳实战与性能优化 文章标签： spark 大数据
于 2023-04-01 23:43:46 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Android_xue/article/details/129904365
本文详细介绍了Spark在Yarn Cluster模式下如何进行资源调优，包括Yarn配置参数如内存和CPU的设定，以及Executor和Driver的相关参数评估。通过实例展示了如何根据任务需求评估和优化资源，提供了内存和计算资源的评估方法，帮助提升Spark应用的性能。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在这里插入图片描述

前言

Spark应用程序是粗粒度的，也就是说在提交的时候就得规划好需要多少资源，设定了不合适的资源也会影响整体性能。
这里先说一下Yarn中的两个配置参数：

  • yarn.nodemanager.resource.memory-mb 每个nodemanager分配的内存，也就是该节点上YARN可使用的物理内存总量。

官方解释： Amount of physical memory, in MB, that can be allocated for containers. If set to -1 and yarn.nodemanager.resource.detect-hardware-capabilities is true, it is automatically calculated(in case of Windows and Linux). In other cases, the default is 8192MB.
可以分配给容器的物理内存量，单位为MB

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Spark开发-Yarn cluster模式
Xlucas的博客
11-05 999
1、部署及程序运行 YARN cluster模型，顾名思义就是通过Hadoop YARN框架来调度spark应用所需的资源，要将Spark集群运行在YARN模式下，首先需要部署一个YARN集群提供该模式使用，在实际应用中，这两者的因果关系往往是反过来的，这是因为用户有一个Hadoop YARN集群，因此希望将spark也纳入YARN的调度管理中，这样有利于系统的资源共享， 打包 对于spark
spark submit——yarn模式参数调优
mjjyszazc的博客
11-11 1742
记录一下最近整理的spark 集群模式提交yarn的部分常用参数设置 （友情提示：以下代码块中注释部分未加注释标# ） spark-submit --master yarn-cluster \ yarn模式 --name ${APP_NAME} \ appName --executor-memory 3G \ 每个exe
spark yarn-cluster模式参数配置
bigdataprimary的博客
10-19 1946
现象：在提交spark任务时指定executor-memory 2g时报错 Failing Oozie Launcher, Main class [org.apache.oozie.action.hadoop.SparkMain], main() threw exception, Required executor memory (2048+384 MB) is above the max ...
spark2-submit：yarn cluster模式参数配置
Svenran的博客
12-16 457
考虑CDH集群运行，约占5%-10%，每台预留3核心以及4G内存。 集群规模：3台48核64g 群集中核心的可用总数： （48-3） x 3 = 135 每个executor分配3核心， –executor-cores 135/3 = 45 （总可用核数 / 每个节点核心数） –num-executors 45/3 = 15（executors核数 / 每个节点核心数） –executor-memory 60/15 = 4g （内存总剩余 / 每个节点ex
Spark在Yarn上的性能调优
勇心在馨
06-18 512
1、Spark数据本地化（移动计算，避免移动数据） （1）process_local（进程本地化）（推荐使用） 代码和数据在同一个（Executor）进程中，数据在Executor的BlockManager中，性能最好 （2）node_local（节点本地化）（推荐使用） 代码和数据在一个节点中，主要分两种情况 i）数据在节点上，Task在节点上的Executor中运行 ii）节点上起了多个Executor，比如Executor1，Executor2，数据在Executor1的B...
Spark任务提交 yarn-cluster模式 解决jvm内存溢出问题 以及简单概述jdk7方法区和jdk8元空间
chixushuchu的博客
12-20 1371
yarn-cluster 提价任务流程 1、提交方式 ./spark-submit --master yarn --deploy-mode cluster --class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.6.0-hadoop2.6.0.jar 100 或者 ./spark-submit --master ...
Spark on Yarn的Cluster模式关于spark-submit的参数设置总结
曹利荣的博客
07-28 4637
Spark提供三个位置用来配置系统： Spark属性：控制大部分的应用程序参数，可以用SparkConf对象或者Java系统属性设置 环境变量：可以通过每个节点的conf/spark-env.sh脚本设置。例如IP地址、端口等信息 日志配置：可以通过log4j.properties配置 Spark属性 Spark属性控制大部分的应用程序设置，并且为每个应用程序分别配...
一、对运行在YARN上的Spark进行性能调优
tangxc227的博客
08-08 338
1、运行环境Jar包管理及数据本地性原理调优 1.1、运行环境Jar包管理及数据本地性调优实践 启动spark程序时，其他节点会自动下载jar包并进行缓存，下次启动时如果包没有变化，则直接读取本地缓存的包。缓存清理间隔在yarn-site.xml通过以下参数配置： <property> <name>yarn.nodemanager.localizer.Cache.cleanip.interval-ms</name> <value>10000</val
Spark在Yarn上的两种模式YarnClient和YarnCluster
weixin_44870066的博客
10-18 1068
Spark在Yarn上的两种模式YarnClient和YarnCluster
Spark on Yarn 最佳运行参数调优-计算方式
码上中年的博客
11-20 1450
Spark on Yarn 参数调优-计算方式 1. 整理机器信息 机器数： 3台 # 查看物理CPU个数 cat /proc/cpuinfo| grep "physical id"| sort| uniq| wc -l 或grep 'physical id' /proc/cpuinfo | sort -u | wc -l 每台机器核数：8核 # 查看每个物理CPU中core的个...
spark on yarn-cluster在生产环境 部署 spark 任务， 同时支持读取外部可配置化文件
u012447842的博客
09-29 1554
spark on yarn-cluster在生产环境部署 读取外部可配置化文件
YARN上Spark的资源分配配置
danpu0978的博客
04-24 861
在此博客文章中，我将解释YARN上Spark的资源分配配置，描述yarn-client和yarn-cluster模式，并包括示例。 Spark可以在YARN中请求两个资源：CPU和内存。 请注意，用于资源分配的Spark配置在spark-defaults.conf中设置，名称类似于spark.xx.xx。 其中一些具有客户端工具的相应标志，例如spark-submit / spark-...
Spark yarn模式下的资源分配配置
Lestat.Z.的博客
05-11 1338
Spark on YARN模式下的资源分配配置前言Spark on Yarn中的两种部署模式关于Application Master (AM)的配置yarn-clientyarn-cluster关于Spark执行程序的容器关键要点参考资料 前言 Spark on YARN模式下的主要资源为CPU和内存。 Spark资源分配配置在spark-defaults.conf中设置，其属性配置一般以 ***...
Spark On YARN内存分配
豪猪的博客
03-03 812
本文主要了解Spark On YARN部署模式下的内存分配情况，因为没有深入研究Spark的源代码，所以只能根据日志去看相关的源代码，从而了解“为什么会这样，为什么会那样”。说明按照Spark应用程序中的driver分布方式不同，Spark on YARN有两种模式： yarn-client模式、yarn-cluster模式。当在YARN上运行Spark作业，每个Spark executor作为一...
Spark应用程序集群资源评估公式
探索大数据世界 - 深入解析数据存储、分布式计算与人工智能
04-23 759
Spark应用程序集群资源评估公式
spark任务参数估算配置
z471365897的专栏
02-27 2392
1.总体原则 1.Yarn配置 Yarn部署在单台服务器128G内存，32个核 如果一个服务器是5个核， executor-cores=5,则理论上num-executor<=6个核。5*6<=32 /hadoop-xxx/yarn-site.xml 修改yarn的运行分配的最大最小内存 yarn.scheduler.minimum-allocation-mb yarn.scheduler.maximum-allocation-mb 2.配置参数 driver-memory d
大数据基础三：spark参数调优
Phyllis2016的博客
07-07 530
spak运行原理&参数调优 一、spark运行原理 参考： Spark资源参数调优参数_TURING.DT-优快云博客_spark 资源参数 Hive on Spark调优_窗外的屋檐-优快云博客_spark.executor.instances 二、参数调优 1、必调参数 num-executors/spark.executor.instances executor-memory/spark.executor.memory executor-cores/spark.execu
【Spark】集群环境下的搭建（Yarn 模式）
最新发布
2403_86969226的博客
11-12 1658
Spark有五种运行模式‌，分别是Local模式、Standalone模式、YARN模式、Mesos模式和Kubernetes模式‌。Local 模式（本地）Local模式是Spark运行在本地机器上，利用本地资源进行计算。这种模式通常用于测试和调试，因为它不需要其他节点资源，适合在开发环境中使用‌。Standalone 模式（集群）Standalone模式是Spark自带的资源调度系统，支持完全分布式。在这种模式下，Spark有自己的Master和Worker节点，负责资源的调度和管理。
Spark Yarn内存资源计算分析（参考）--Executor Cores、Nums、Memory优化配置
Alex的博客
03-18 2436
Spark on Yarn Executor Cores、Nums、Memory优化配置 三方面内容：executor 核心数目，executor 数量，executor 内存。对于driver memory 这个参数，设置比较灵活，一般1-8，这里不就不多说 设置以上三个参数，除了计算集群的节点数、节点Cores和内存大小外，还需要考虑以下四点因素： spark使用yarn做资源管理，yarn后台使用一些守护进程中运行的，如NameNode，Secondary NameNode，DataNode，J
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

SunnyRivers

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值