本文介绍了Yarn在生产环境中的资源管理，详细分析了物理内存的分配策略，包括Linux系统预留、DN和NM进程的内存占用，以及container的数量计算。讨论了不同场景下`yarn.nodemanager.resource.memory-mb`、`yarn.scheduler.minimum-allocation-mb`和`yarn.scheduler.maximum-allocation-mb`的设置，并探讨了CPU资源的配置，如何平衡资源利用率与浪费之间的关系。
Yarn的生产资源管理
假设一台机器有48G物理内存 ，8core （按照1：2的一般配置）虚拟core（vcore）有 16个
1）Linux系统本身要占内存+空留：20% ----》 48*0.2=9.6G
剩余：80% = 38.4G
2）DN进程（datanode）：生产4G
更改datanode的配置（hadoop-env.sh）
HADOOP_NAMENODE_OPTS=-Xmx1024m
HADOOP_DATANODE_OPTS=-Xmx1024m
3）NM进程：4G
更改NodeManager的配置（yarn-env.sh）
export YARN_RESOURCEMANAGER_HEAPSIZE=1024
export YARN_NODEMANAGER_HEAPSIZE=1024
因此，机器还剩 38.4-4-4 =30.8G (近似30G)
dn和nm一般部署在同一台机器：数据本地化
对于物理内存：
yarn.nodemana
最低0.47元/天 解锁文章
扫一扫
1047
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
