CDH集群之YARN性能调优

最新推荐文章于 2023-05-01 17:44:35 发布

原创

最新推荐文章于 2023-05-01 17:44:35 发布 · 2.4k 阅读

CC 4.0 BY-SA版权

文章标签：

本文详细探讨了CDH集群中YARN的调优配置，包括工作主机配置、YARN和MapReduce的资源配置，如CPU和内存的优化，以及各种配置参数的检查与设定，以确保集群高效运行。

本文主要讨论CDH集群的YARN调优配置，关于YARN的调优配置，主要关注CPU和内存的调优，其中CPU是指物理CPU个数乘以CPU核数，即Vcores = CPU数量*CPU核数。YARN是以container容器的形式封装资源的，task在container内部执行。

集群的配置主要包括三步，第一是先规划集群的工作主机以及每台主机的配置，第二是规划每台主机的安装的组件及其资源分配，第三是规划集群的规模大小。

如下表所示：主机的内存为256G，4个6核CPU，CPU支持超线程，网络带宽为2G

主机组件	数量	大小	总计	描述
RAM	256G		256G	内存大小
CPU	4	6	48	总CPU核数
HyperThreading CPU	YES			超线程CPU，使操作系统认为处理器的核心数是实际核心数的2倍，因此如果有24个核心的处理器，操作系统会认为处理器有48个核心
网络	2	1G	2G	网络带宽

第一步已经明确每台主机的内存和CPU配置，下面为每台节点的服务分配资源，主要分配CPU和内存

服务	类别	CPU核数	内存(MB)	描述
操作系统	Overhead	1	8192	为操作系统分配1核8G内存，一般4~8G
其它服务	Overhead	0	0	非CDH集群、非操作系统占用的资源
Cloudera Manager agent	Overhead	1	1024	分配1核1G
HDFS DataNode	CDH	1	1024	默认1核1G
YARN NodeManager	CDH	1	1024	默认1核1G
Impala daemon	CDH	0	0	可选的服务，建议至少为impala demon分配16G内存
Hbase RegionServer	CDH	0	0	可选的服务，建议12~16G内存
Solr Server	CDH	0	0	可选的服务，最低1G内存
Kudu Server	CDH	0	0	可选的服务，kudu Tabl