本文主要讨论CDH集群的YARN调优配置,关于YARN的调优配置,主要关注CPU和内存的调优,其中CPU是指物理CPU个数乘以CPU核数,即Vcores = CPU数量*CPU核数。YARN是以container容器的形式封装资源的,task在container内部执行。
集群配置
集群的配置主要包括三步,第一是先规划集群的工作主机以及每台主机的配置,第二是规划每台主机的安装的组件及其资源分配,第三是规划集群的规模大小。
工作主机的配置
如下表所示:主机的内存为256G,4个6核CPU,CPU支持超线程,网络带宽为2G
主机组件 | 数量 | 大小 | 总计 | 描述 |
RAM | 256G | 256G | 内存大小 | |
CPU | 4 | 6 | 48 | 总CPU核数 |
HyperThreading CPU | YES | 超线程CPU,使操作系统认为处理器的核心数是实际核心数的2倍,因此如果有24个核心的处理器,操作系统会认为处理器有48个核心 | ||
网络 | 2 | 1G | 2G | 网络带宽 |
工作主机安装组件配置
第一步已经明确每台主机的内存和CPU配置,下面为每台节点的服务分配资源,主要分配CPU和内存
服务 | 类别 | CPU核数 | 内存(MB) | 描述 |
操作系统 | Overhead | 1 | 8192 | 为操作系统分配1核8G内存,一般4~8G |
其它服务 | Overhead | 0 | 0 | 非CDH集群、非操作系统占用的资源 |
Cloudera Manager agent | Overhead | 1 | 1024 | 分配1核1G |
HDFS DataNode | CDH | 1 | 1024 | 默认1核1G |
YARN NodeManager | CDH | 1 | 1024 | 默认1核1G |
Impala daemon | CDH | 0 | 0 | 可选的服务,建议至少为impala demon分配16G内存 |
Hbase RegionServer | CDH | 0 | 0 | 可选的服务,建议12~16G内存 |
Solr Server | CDH | 0 | 0 | 可选的服务,最低1G内存 |
Kudu Server | CDH | 0 | 0 | 可选的服务,kudu Tabl |