spark提交任务参数–executor-cores设置不起作用

问题描述

1.虽然目前大多数平台内置Application在提交时,只配置了–num-executors和–executor-memory参数,但是其他APP的开发者可能会配置–executor-cores参数。

举个例子:

./spark-submit –master yarn-client –executor-cores 4 –num-executors 6  –executor-memory 10g –driver-memory 2g   –jars xxJar –class xxxApp 

即有6个executor,每个executor的cores数目为4。不过当你提交任务时,你一定会非常吃惊,因为yarn 8088上展示的vcores会是7。看起来就像是参数设置并未生效一样。

问题分析与解决

两个原因:
1.配置不对
其实这是因为我们的capacity schedule使用的是DefaultResourceCalculator,那么DefaultResourceCalculator它在加载container时其实仅仅只会考虑内存而不考虑cores。所以,如果我们想让它既考虑内存也考虑cores的话,需要将$HADOOP_HOME/etc/hadoop/capacity-scheduler.xml中的:

<property>
<name>yarn.scheduler.capacity.resource-calculator</name>
<value>org.apache.hadoop.yarn.util.resource.DefaultResourceCalculator</value>
</property>

修改为:

<property>
<name>yarn.scheduler.capacity.resource-calculator&l
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值