Yarn调优&Yarn调度器

最新推荐文章于 2024-03-28 07:30:00 发布

jerrfy_w

最新推荐文章于 2024-03-28 07:30:00 发布

阅读量448

点赞数

分类专栏： hadoop

本文链接：https://blog.youkuaiyun.com/wzj_wp/article/details/103632956

版权

本文详细介绍了Yarn的调优过程，包括内存和CPU资源的分配策略。在128G内存和16核的环境下，系统预留了20%的内存，DN和NM进程分别分配了2G和4G，剩余内存用于container。每个container的vcore被限制在4个，最大内存设为12G。对于256G内存和56核的场景，同样进行了资源配置的计算。此外，文章还对比了FIFO、Capacity和Fair三种Yarn调度器的工作原理和应用场景。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Yarn调优

假设内存128G 16物理core

装完CentOS，消耗内存1G
系统预览15%-20%内存(包含1.1)，以防全部使用导致系统夯住和 oom机制事件，或者给未来部署组件预览点空间(128*20%=25.6G==26G)
假设只有DN NM节点，余下内存: 128-26=102G
给DN进程(自身)2G，给NM进程(自身)4G，剩余102-2-4=96G

container(容器)内存的分配
yarn.nodemanager.resource.memory-mb 96G
yarn.scheduler.minimum-allocation-mb 1G 极限情况下，只有96个container 内存1G
yarn.scheduler.maximum-allocation-mb 96G 极限情况下，只有1个container 内存96G

container的内存会自动增加，默认1g递增
container:1-96个

container虚拟核
物理核:虚拟核 =1:2 32vcore
默认1：2 一般不修改
yarn.nodemanager.resource.pcores-vcores-multiplier 2