Yarn调优&Yarn调度器

最新推荐文章于 2024-12-25 18:40:55 发布

原创

最新推荐文章于 2024-12-25 18:40:55 发布 · 495 阅读

0 ·

CC 4.0 BY-SA版权

本文详细介绍了Yarn的调优过程，包括内存和CPU资源的分配策略。在128G内存和16核的环境下，系统预留了20%的内存，DN和NM进程分别分配了2G和4G，剩余内存用于container。每个container的vcore被限制在4个，最大内存设为12G。对于256G内存和56核的场景，同样进行了资源配置的计算。此外，文章还对比了FIFO、Capacity和Fair三种Yarn调度器的工作原理和应用场景。

Yarn调优

假设内存128G 16物理core

装完CentOS，消耗内存1G
系统预览15%-20%内存(包含1.1)，以防全部使用导致系统夯住和 oom机制事件，或者给未来部署组件预览点空间(128*20%=25.6G==26G)
假设只有DN NM节点，余下内存: 128-26=102G
给DN进程(自身)2G，给NM进程(自身)4G，剩余102-2-4=96G

container(容器)内存的分配
yarn.nodemanager.resource.memory-mb 96G
yarn.scheduler.minimum-allocation-mb 1G 极限情况下，只有96个container 内存1G
yarn.scheduler.maximum-allocation-mb 96G 极限情况下，只有1个container 内存96G

container的内存会自动增加，默认1g递增
container:1-96个

container虚拟核
物理核:虚拟核 =1:2 32vcore
默认1：2 一般不修改
yarn.nodemanager.resource.pcores-vcores-multiplier 2

container物理核分配 (物理核:虚拟核 =1:2 ==>16:32)
yarn.nodemanager.resource.cpu-vcores 32个
yarn.scheduler.minimum-allocation-vcores 1个极限情况下，只有32个container
yarn.scheduler.maximum-allocation-vcores 32个极限情况下，只有1个container

container的物理核会自动增加，默认1个递增，那么containe