数仓4.0笔记——数仓环境搭建—— Yarn配置

最新推荐文章于 2024-08-16 11:01:12 发布

原创

最新推荐文章于 2024-08-16 11:01:12 发布 · 1k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #大数据 #分布式

本文介绍了如何在Hadoop集群中修改capacity-scheduler.xml配置文件，以增加ApplicationMaster的最大资源占比，从默认的10%提升到80%。这一改动适用于资源有限的学习环境，以允许同时运行更多Job。调整后，需要停止并重启YARN服务以使更改生效。

1 增加ApplicationMaster资源比例

容量调度器对每个资源队列中同时运行的Application Master占用的资源进行了限制，该限制通过yarn.scheduler.capacity.maximum-am-resource-percent参数实现，其默认值是0.1，表示每个资源队列上Application Master最多可使用的资源为该队列总资源的10%，目的是防止大部分资源都被Application Master占用，而导致Map/Reduce Task无法执行。

生产环境该参数可使用默认值。但学习环境，集群资源总数很少，如果只分配10%的资源给Application Master，则可能出现，同一时刻只能运行一个Job的情况，因为一个Application Master使用的资源就可能已经达到10%的上限了。故此处可将该值适当调大。

在hadoop102的/opt/module/hadoop-3.1.3/etc/hadoop/capacity-scheduler.xml文件中修改如下参数值

[zhang@hadoop102 hadoop]$ vim capacity-scheduler.xml