集群无法启动多个spark任务，资源无法分配问题

最新推荐文章于 2024-07-17 00:29:32 发布

原创最新推荐文章于 2024-07-17 00:29:32 发布 · 1.3k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#spark #多任务 #yarn #资源调度 #优化

spark 专栏收录该内容

7 篇文章

订阅专栏

本文介绍了解决在集群上提交的任务一直处于Accepted状态的问题。通常这并非由集群资源不足引起，而是YARN可调度资源不足。通过修改capacity-scheduler.xml文件中的yarn.scheduler.capacity.maximum-am-resource-percent参数，可有效提升YARN调度能力。

问题描述：

在集群上同时提交多个任务，但是发现集群的资源还有很多，但是任务却无法起来,一直处于Accepted状态

解决方法：

这种情况一般是由于yarn可调度的资源不够而并非集群的资源不够，修改Hadoop/etc/hadoop/capacity-scheduler.xml，将value从0.1改为0.5，增加yarn可调度的资源数

<property>
    <name>yarn.scheduler.capacity.maximum-am-resource-percent</name>
    <value>0.5</value>
    <description>
      Maximum percent of resources in the cluster which can be used to run
      application masters i.e. controls number of concurrent running
      applications.
    </description>
  </property>