当多个用户同时提交任务或单个用户提交大量任务时，可能会导致Yarn资源分配错误。为了解决这个问题，可以调整Hadoop配置文件`capacity-scheduler.xml`，将`yarn.scheduler.capacity.maximum-am-resource-percent`参数从0.1增加到0.5，以增加Yarn可调度的资源量，从而避免资源分配不足的情况。
一般是由于有多个用户同时向集群提交任务或一个用户向集群同时提交了多个任务导致Yarn资源的分配错误。
解决这个问题，只需要更改Hadoop的配置文件：
../etc/hadoop/capacity-scheduler.xml，
把选项：yarn.scheduler.capacity.maximum-am-resource-percent从0.1改成0.5。顾名思义，这个选项是增加Yarn可调度的资源量，当然也可以视具体情况增加更多。也可见，默认情况下，Yarn没有将很多资源分配给任务的能力。
扫一扫
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
