Spark在Yarn上的动态资源分配

最新推荐文章于 2024-07-17 00:29:32 发布
原创 最新推荐文章于 2024-07-17 00:29:32 发布 · 2.5k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark #hadoop

本文档介绍了如何在Yarn上配置Spark以实现动态资源分配。主要步骤包括：在hadoop的yarn-site.xml中配置aux-services，添加spark_shuffle服务；将spark-xxx-yarn-shuffle.jar拷贝到指定目录；在spark-default.conf中启用shuffle服务并设置端口；最后重启Yarn服务以应用配置。

参考地址：http://spark.apache.org/docs/1.5.2/job-scheduling.html#configuration-and-setup

1.配置hadoop/etc/yarn-site.xml

  1. <property>
      <name>yarn.nodemanager.aux-services</name>
      <value>mapreduce_shuffle,spark_shuffle</value>
    </property>

  2. <property>
      <name>yarn.nodemanager.aux-services.spark_shuffle.class</name>
      <value>org.apache.spark.network.yarn.YarnShuffleService</value>
    </property>

  4. <!-- 默认端口号 -->
  5. <property>
  <name>spark.shuffle.service.port</name>
  <value>7337</value>
</property>

2.拷贝spark-xxx-yarn-shuffle.jar到指定目录



拷贝spark-xxx-yarn-shuffle.jar到 hadoop/share/hadoop/yarn/里面

3.配置spark-default.conf



spark.shuffle.service.enabled  true

spark.shuffle.service.prot         7337


Dynamic Allocation
Property Name
最低0.47元/天 解锁文章
关于 Spark on Yarn 的资源分配与 Capacity Scheduler 的研究
Laurence的技术博客
06-18 3622
文章目录1.启用CapacityScheduler2.集群信息与配置2.1.yarn.nodemanager.resource.xxx2.2.yarn.scheduler.minimum/maximum-xxxx3.SparkonYarn的内存模型4.user-limit-factor：单用户时提升资源利用率的重要因子5.规整化因子6.测试队列资源划分方案7.测试计划7.1.用例一7.2.用例二7.3.用例三7.2.用例四8.小结 资源调度永远是一个对立统一的问题，在一个限
Spark3.x入门到精通-阶段七(spark动态资源分配)
S1124654的博客
07-11 1818
Spark3.x入门到精通-阶段七(spark动态资源分配)
Spark的动态资源分配算法
最新发布
小昌昌的博客
07-17 1811
本文讲解了Spark on Yarn的动态资源分配场景下，从Task信息的生成，到资源的请求，以及将生成的Task基于资源的Locality Preference调度到生成的Executor的整个过程。
spark性能调优：资源优化
purisuit_knowledge的专栏
07-08 757
转载： 在开发完Spark作业之后，就该为作业配置合适的资源了。Spark的资源参数，基本都可以在spark-submit命令中作为参数设置。很 多Spark初学者，通常不知道该设置哪些必要的参数，以及如何设置这些参数，最后就只能胡乱设置，甚至压根儿不设置。资源参数 设置的不合理，可能会导致没有充分利用集群资源，作业运行会极其缓慢；或者设置的资源过大，队列没有足够的资源来提供，进 而导致各...
Spark on Yarn模式下的资源分配
weixin_46628206的博客
03-30 852
Spark程序以Hadoop Yarn作为集群管理器时，运行时所需资源的分配完全由Hadoop Yarn 进行管理，相关的配置参数也分成Spark本身以及Hadoop Yarn两部分。 以下配置以Spark-1.6.0和Hadoop 2.6.0为标准，部署模式为yarn-cluster。(client模式下个别参数会有区别 主要是涉及到driver的参数应该替换为am) Spark配置参数 内存配...
Spark On YARN：动态资源分配策略实践
要在Spark on YARN中启用动态资源分配，除了在Spark应用的配置中设置相应的参数（如`spark.dynamicAllocation.enabled=true`）外，还需要对YARN集群进行一些配置。例如，要支持Spark的ShuffleService，需要在YARN的...
精选资源
Spark动态资源分配-DynamicResourceAllocation
02-26
Spark中，所谓资源单位一般指的是executors，和Yarn中的Containers一样，在SparkOnYarn模式下，通常使用–num-executors来指定Application使用的executors数量，而–executor-memory和–executor-cores分别用来指定...
【spark】【在YARN上运行Spark】【Running Spark on YARN】
wq6qeg88的博客
02-17 1341
通常情况下，这并不重要，因为Spark在开始另一个阶段之前完成了一个阶段，唯一可能有影响的情况是在作业服务器类型的场景中，所以需要记住这一点。例如，当运行一个YARN集群，其中运行多个Spark版本的应用程序的混合工作负载时，这可能很有帮助，因为给定版本的shuffle服务并不总是与其他版本的Spark兼容。Spark发行版，由于它已经包含了内置的Hadoop运行时，默认情况下，当作业提交到Hadoop Yarn集群时，为了防止jar冲突，它不会将Yarn的classpath填充到Spark中。
Spark 动态资源分配参数与源码原理分析
u014034497的专栏
12-08 3011
最开始生效位置 ： 1.1.1.2.1 ExecutorAllocationManager 动态资源分配的工作，全部交由ExecutorAllocationManager类来管理，可以根据集群负载 实现最大并行化运行程序。在sparkcontext初始化时，被调用。 总体调用示意图如下：这里我们先看 updateAndSyncNumExecutorsTarget 和removeExecutors方法，因为其内部 最终也会调用 requestTotalExecutors 计算当前最大需要的execut
Spark资源分配
ooeeerrtt的博客
01-15 2177
一、整体情况 1、服务器资源 5台datanode节点 cpu：48 查看命令：cat /proc/cpuinfo | grep processor | wc -l 内存：128G 查看命令：free -h 2、yarn资源 yarn.nodemanager.resource.cpu-vcores = 36 yarn.nodemanager.resource.memory-mb = 70G 注...
spark on yarn启用动态分配
刘光华的专栏
12-14 3332
spark on yarn 支持资源的动态分配。           资源请求策略：     一个spark程序使用轮询来请求资源。具体过程如下： 1.如果程序中有任务在等待，超过spark.dynamicAllocation.schedulerBacklogTimeout参数配置的时间（默认是1s），将会得到新的资源，分配executor 2. 如果等待spark.dynamicAll
[spark]spark资源分配
胖胖的博客
02-06 3333
(1*4即4个节点共4个executor)*4=16，总cpu为32线程 8/16=1/2。每个executor内存数=该节点可用的总内存数/该节点executor数=16G/1=19G(这里因为executor num实在太小，所以随便选了16)但是一般cpu:内存=1:2-1:4，阿里云封装的时候1CU = 1cpu+4G内存, 即1:4，该值是比较合理的。内存数与线程数不是严格按照1:2，或者1:4，这个需要看一下每个节点的可用资源，具体情况具体计算。这里可以看出来，内存数/线程数=16/4=4。
Spark yarn模式下的资源分配配置
Lestat.Z.的博客
05-11 1510
Spark on YARN模式下的资源分配配置前言Spark on Yarn中的两种部署模式关于Application Master (AM)的配置yarn-clientyarn-cluster关于Spark执行程序的容器关键要点参考资料 前言 Spark on YARN模式下的主要资源为CPU和内存。 Spark资源分配配置在spark-defaults.conf中设置，其属性配置一般以 ***...
Spark on YARN实现动态资源分配配置记录
逝无痕——kaidy
03-04 2282
文章目录使能Spark资源动态分配使能External Shuffle ServiceExternal Shuffle Service配置 使能Spark资源动态分配 进入${SPARK_HOME}/conf/目录，在spark-defaults.conf文件中新增如下配置 如果spark-defaults.conf文件不存在，从spark-defaults.conf.template模板文件拷贝...
spark资源调度分配
ggwcr的博客
05-18 537
一．任务调度与资源调度的区别 1.任务调度是通过DAGScheduler、TaskScheduler、SchedulerBackend等进行的作业调度 2.资源调度是指应用程序如何获得资源 3.任务调度是在资源调度的基础上进行的，没有资源调度那么任务调度就成了无源之水 二．资源调度内幕 1.因为Master负责资源管理和调度，所以资源调度的方法schedul
spark on yarn 完全分部署_Spark最佳实践之如何有效分配资源
weixin_39886469的博客
11-19 225
一个企业的大数据系统通常由三层构成：底层基础设施、大数据平台、数据智能化应用。随着云计算的发展，大多数中小型企业越来越依赖云厂商提供的服务来构建自己的大数据平台，而不再自己维护底层基础设施。比如，我们公司目前主要使用AWS EMR服务来构建Spark系统。EMR可以帮助我们根据需要快速建立一个Spark集群，让我们从底层机器的维护、集群的部署等繁杂的工作中解放出来，更多的关注在应用层。基于EMR构...
Spark资源调度分配原理
02-07 2450
一、任务调度和资源调度的区别 1.任务调度是通过DAGScheduler、TaskScheduler、SchedulerBackend等进行的作业调度 2.资源调度是指应用程序如何获得资源 3.任务调度是在资源调度的基础上进行的，没有资源就没有任务 二、资源调度原理 1.因为Master负责资源管理和调度，所以资源调度的方法shedule位于Master.scala这个类中，当注
[Spark] 固定资源申请和动态资源分配
藏知阁
06-15 2794
本文假设Spark部署方式为YARN。一个Container包含一个Executor（即一个JVM进程）。
spark性能优化，分配更多的资源
mn_kw的博客
07-16 415
其实性能优化的王道，就是增加更多的资源   1. 分配哪些资源 2. 在哪里分配这些资源 3. 为什么多分配了这些资源以后，性能会得到提升？   1. executor、cpu per executor、memory per executor、driver memory 2. 在生产环境中，提交spark作业，用的spark-submit shell脚本，里面调整对应的参数 /us...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值