yarn内存配置

最新推荐文章于 2022-01-12 16:39:45 发布

原创最新推荐文章于 2022-01-12 16:39:45 发布 · 917 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#yarn

yarn 专栏收录该内容

1 篇文章

订阅专栏

本文介绍了一款由官方提供的Python工具yarn-utils.py，用于帮助计算YARN集群中节点资源的合理分配。通过输入核心参数如核数、内存大小等，该工具能够生成配置yarn-site.xml所需的key-value对。

根据具体集群情况，官方提供了一个python编写的内存计算工具：linux环境下执行命令python yarn-utils.py -c 32 -m 128 -d 7 -k False，其中参数说明如下：

-c：核数
-m：内存大小
-d：磁盘数
-k：hbase是否安装。False-没有安装 True-安装

会生成一串信息：

Using cores=32 memory=128GB disks=7 hbase=False
 Profile: cores=32 memory=106496MB reserved=24GB usableMem=104GB disks=7
 Num Container=13
 Container Ram=8192MB
 Used Ram=104GB
 Unused Ram=24GB
 yarn.scheduler.minimum-allocation-mb=8192
 yarn.scheduler.maximum-allocation-mb=106496
 yarn.nodemanager.resource.memory-mb=106496
 mapreduce.map.memory.mb=8192
 mapreduce.map.java.opts=-Xmx6553m
 mapreduce.reduce.memory.mb=8192
 mapreduce.reduce.java.opts=-Xmx6553m
 yarn.app.mapreduce.am.resource.mb=8192
 yarn.app.mapreduce.am.command-opts=-Xmx6553m
 mapreduce.task.io.sort.mb=3276

参考输出的信息配置yarn-site.xml文件(以key-value形式配置),如：

<name>yarn.scheduler.minimum-allocation-mb</name>

</property>

yarn-utils.py下载前往：http://download.youkuaiyun.com/detail/javajxz008/9443358