Spark on Yarn：任务提交参数配置

最新推荐文章于 2024-08-27 21:09:18 发布
最新推荐文章于 2024-08-27 21:09:18 发布
阅读量2.3k 收藏 2
点赞数 1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/willwill101/article/details/78772007
版权
本文介绍了如何在YARN上运行Spark作业，重点在于理解executor与YARN容器的关系，以及如何配置参数以优化性能。关键参数包括：使用`yarn-cluster`或`yarn-client`模式，设置executor数量、每个executor的核数和内存大小，以及driver的内存。优化要点包括考虑executor数量、总vcores和内存分配的计算公式。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

  • 当在YARN上运行Spark作业，每个Spark executor作为一个YARN容器运行。Spark可以使得多个Tasks在同一个容器里面运行。

以下参数配置为例子

spark-submit

--master yarn-cluster  / yarn-client　　　　#使用集群调

最低0.47元/天 解锁文章
willwill1101
关注
【spark】【在YARN上运行Spark】【Running Spark on YARN】
wq6qeg88的博客
02-17 1146
通常情况下，这并不重要，因为Spark在开始另一个阶段之前完成了一个阶段，唯一可能有影响的情况是在作业服务器类型的场景中，所以需要记住这一点。例如，当运行一个YARN集群，其中运行多个Spark版本的应用程序的混合工作负载时，这可能很有帮助，因为给定版本的shuffle服务并不总是与其他版本的Spark兼容。Spark发行版，由于它已经包含了内置的Hadoop运行时，默认情况下，当作业提交到Hadoop Yarn集群时，为了防止jar冲突，它不会将Yarn的classpath填充到Spark中。
Oozie 调用 Spark on Yarn：傻瓜教程从编译，配置安装到运行
My Sunshine
11-19 900
安装前准备： 安装hadoop，可参考文章：https://blog.youkuaiyun.com/lucylove3943/article/details/80589422 安装spark，可参考文章：https://blog.youkuaiyun.com/lucylove3943/article/details/96477861 我当前电脑安装的hadoop版本是2.9.2，spark的版本是2.4.4，和上面...
spark on yarn 提交参数
m0_58149226的博客
08-01 229
spark on yarn 提交参数
spark on yarn参数设置
04-25 1639
前言 上次提交任务都是采用默认参数提交的，结果运行时查看计算机状况使用的，没有最大限度的使用到计算机资源，于是这次提交任务就简单的了解了一下参数设置方面的问题，做个简单的记录。本文spark是提交到yarn上执行的，所有仅限于spark on yarn 运行模式。 问题 查看spark官网，提...
spark：spark-submit 提交任务及参数说明（yarn）
laozhang0910的博客
07-28 794
https://blog.youkuaiyun.com/weixin_38750084/article/details/104146054?utm_source=app
Spark实验：On Yarn模式安装部署（带答案）1
08-03
总结来说，Spark on Yarn的安装部署涉及到多个环节，包括环境配置、资源管理器的设置、集群启动以及应用的提交和监控。每个步骤都需要仔细操作，以确保Spark能够有效地在Hadoop集群上运行。通过这个实验，不仅可以...
java提交spark任务到yarn平台的配置讲解共9页.pdf.zip
10-28
Java提交Spark任务到YARN...以上就是Java提交Spark任务到YARN平台的核心知识点，涵盖了从环境搭建、代码编写、任务提交到资源管理和性能优化的全过程。掌握这些要点，可以有效地在大规模集群上运行和管理Spark作业。
Spark on YARN
最新发布
qq_41081716的博客
08-27 1163
Spark 在 YARN 上运行是一种常见的部署方式，特别是在企业环境中。这种方式充分利用了 YARN 的资源管理和调度能力，同时让 Spark 应用程序能够高效地运行在 Hadoop 集群上。如果你需要进一步的帮助或有关于具体配置的问题，请随时提问！
spark 提交参数设置
diannao720的博客
06-16 2378
1.num-executors 50~100 2.executor-memory 4G~8G  num-executors乘以executor-memory，就代表了你的Spark作业申请到的总内存量,这个量是不能超过队列的最大内存量的 3.executor-cores 2~4    4.spark.default.parallelism  用于设置每个stage的默认task数量,Spar
Spark On YARN内存分配
豪猪的博客
03-03 807
本文主要了解Spark On YARN部署模式下的内存分配情况，因为没有深入研究Spark的源代码，所以只能根据日志去看相关的源代码，从而了解“为什么会这样，为什么会那样”。说明按照Spark应用程序中的driver分布方式不同，Spark on YARN有两种模式： yarn-client模式、yarn-cluster模式。当在YARN上运行Spark作业，每个Spark executor作为一...
spark on yarn【在yarn上提交spark 程序配置及实现方式】
CD
01-22 4122
spark on yarn
spark on yarn中的启动参数
a280966503的博客
03-04 725
在spark-on-yarn下cluster模式中显示ResourceManager：负责集群中所有资源的统一管理和分配，它接收来自各个节点（NodeManager）的资源汇报信息，并把这些信息按照一定的策略分配给各个应用程序（实际上是ApplicationManager）。NameNode：SecondaryNameNode：DataNode：NodeManager：CoarseGrainedE...
Spark提交作业参数以及注意事项（高频面试题）
mischen520的博客
07-07 1660
1）在提交任务时的几个重要参数 executor-cores —— 每个executor使用的内核数，默认为1，官方建议2-5个 num-executors —— 启动executors的数量，默认为2 executor-memory —— executor内存大小，默认1G driver-cores —— driver使用内核数，默认为1 driver-memory —— driver内存大小，默认512M 2）边给一个提交任务的样式 spark-submit \ --master l..
adoop2 作业执行过程之yarn调度执行
qq_41641810的博客
02-05 642
转发，原文地址：https://www.cnblogs.com/admln/p/hadoop2-work-excute-yarn.html YARN是hadoop系统上的资源统一管理平台，其主要作用是实现集群资源的统一管理和调度（目前还不完善，只支持粗粒度的CPU和内存的的调配）； 它的基本思想是将Mapreduce的jobtracker拆分成两个独立的服务：一个全局的资源
在YARN上运行Spark的常用配置参数讲解
penriver的博客
04-26 6046
本文针对在YARN上运行Spark的常用配置参数进行讲解 1. 在yarn上启动spark application 确保HADOOP_CONF_DIR或YARN_CONF_DIR指向包含Hadoop集群(客户端)配置文件的目录。 这些configs用于写入HDFS并连接YARN ResourceManager。这个目录中包含的配置将被分发到YARN集群中，以便应用程序使用的所有容器使用相同的配置。如果配置引用的Java系统属性或环境变量不是由YARN管理的，它们也应该在Spark应用程序的配置(dri
Hadoop Yarn 核心调优参数
JIE的博客 --- moon_coder
08-25 2050
如果一个容器的虚拟内存使用量超过了预先配置的限制，NodeManager 会采取措施来处理这种情况，通常是终止或杀死该容器。这个参数的目的是限制应用程序可以使用的虚拟内存量，以避免某个应用程序无限制地占用虚拟内存资源，导致其他任务和应用程序受影响。用于指定每个 NodeManager 节点可以使用的内存量，以兆字节（MB）为单位，默认。用于指定每个 NodeManager 节点可以使用的虚拟核心数量（vCores），默认为。，NodeManager 将会在分配容器资源时，考虑每个容器使用的虚拟内存量。
yarn参数设置
weixin_46680124的博客
06-30 3810
NM 主要使用两个参数来限制 containers CPU 资源使用。首先，使用 yarn.nodemanager.resource.percentage-physical-cpu-limit 来设置所有 containers 的总的 CPU 使用率占用总的 CPU 资源的百分比。比如设置为 60，则所有的 containers 的 CPU 使用总和在任何情况下都不会超过机器总体 CPU 资源的 60 %。然后，使用 yarn.nodemanager.linux-container-executor.cgr
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值