CDH集群之YARN性能调优

最新推荐文章于 2023-05-01 17:44:35 发布
最新推荐文章于 2023-05-01 17:44:35 发布
阅读量2.4k 收藏 10
点赞数
CC 4.0 BY-SA版权
分类专栏： CDH 文章标签： CDH YARN
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/jmx_bigdata/article/details/103372883
本文详细探讨了CDH集群中YARN的调优配置，包括工作主机配置、YARN和MapReduce的资源配置，如CPU和内存的优化，以及各种配置参数的检查与设定，以确保集群高效运行。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

本文主要讨论CDH集群的YARN调优配置，关于YARN的调优配置，主要关注CPU和内存的调优，其中CPU是指物理CPU个数乘以CPU核数，即Vcores = CPU数量*CPU核数。YARN是以container容器的形式封装资源的，task在container内部执行。

集群配置

集群的配置主要包括三步，第一是先规划集群的工作主机以及每台主机的配置，第二是规划每台主机的安装的组件及其资源分配，第三是规划集群的规模大小。

工作主机的配置

如下表所示：主机的内存为256G，4个6核CPU，CPU支持超线程，网络带宽为2G

主机组件 数量 大小 总计 描述
RAM 256G 256G 内存大小
CPU 4 6 48 总CPU核数
HyperThreading CPU YES 超线程CPU，使操作系统认为处理器的核心数是实际核心数的2倍，因此如果有24个核心的处理器，操作系统会认为处理器有48个核心
网络 2 1G 2G 网络带宽

工作主机安装组件配置

第一步已经明确每台主机的内存和CPU配置，下面为每台节点的服务分配资源，主要分配CPU和内存

服务 类别 CPU核数 内存(MB) 描述
操作系统 Overhead 1 8192 为操作系统分配1核8G内存，一般4~8G
其它服务 Overhead 0 0 非CDH集群、非操作系统占用的资源
Cloudera Manager agent Overhead 1 1024 分配1核1G
HDFS DataNode CDH 1 1024 默认1核1G
YARN NodeManager CDH 1 1024 默认1核1G
Impala daemon CDH 0 0 可选的服务，建议至少为impala demon分配16G内存
Hbase RegionServer CDH 0 0 可选的服务，建议12~16G内存
Solr Server CDH 0 0 可选的服务，最低1G内存
Kudu Server CDH 0 0 可选的服务，kudu Tabl
最低0.47元/天 解锁文章

200万优质内容无限畅学
CDH6.3.2大数据集群生产环境安装(八)之各组件参数调优，yarn参数调优，hdfs参数调优等
nhm_lxy的专栏
04-11 492
CDH6.3.2大数据集群生产环境安装(八)之各组件参数调优，yarn参数调优，hdfs参数调优等
基于CDH5.13版本的集群YARN调优
hadoopp的博客
08-29 483
YARN参数优化 1、Mapreduce 提交复制 mapreduce.client.submit.file.replication mapreduce任务数据的副本数，默认是10，比普通HDFS文件的默认幅本数大很多，可能也是考虑到把输入数据放到更多的DN上，尽可能实现本地数据计算，但会增大数据量，更改为1个副本 2、MapReduce 作业的最大尝试次数 MapReduce 作...
CDH性能调优精髓，CDH热点问题分析
10-14
CDH性能调优，CDH热点问题分析，安装注意事件
spark配置速查
dinl_vin的博客
09-02 1137
配置项五花八门?那就整理一下! * CPU相关 1. spark.cores.max 集群分配给spark的最大CPU数 2. spark.executor.cores Executor内划分的CPU- Core，一般是2~4个比较合适 3.spark.task.cpus 执行每个Task的CPU数量，一般都是1不用动 4. spark.default.parallelism 参数说明：该参数用于设置每个stage的默认task数量。这个参数极为重要，如果不设置可能会直接影响你的Spark作业性能。 参数
CDH6.2.0优化之yarn优化
追梦少年渐已老的博客
12-30 1158
1.原因 在cdh执行hive聚合数据的脚本时，发现cpu及资源池时利用率比较低，执行脚本的效率不高，脚本执行一次要16小时，严重不满足应用需求。 2.分析 经过查看日志及分析cdh环境状态图表，发现集群资源没有充分利用，脚本执行时，cpu及IO都没有达到使用峰值，后来发现可能是配置的问题。 3.yarn参数配置说明 yarn.scheduler.minimum-allocation-mb 分配给AM单个容器可申请的最小内存 yarn.scheduler.maximum-allocation-m
CDH7.5集群性能调优：掌握Cloudera Manager的优化策略
随着大数据技术的快速发展，CDH7.5集群的性能调优成为企业提升数据处理能力和降低运营成本的关键。本文从基础架构出发，深入探讨了Cloudera Manager的优化机制，包括架构概述、资源管理、服务级别优化，以及自适应...
基于CDH 6.3.0 搭建 Hive on Spark 及相关配置和调优
05-25
需要注意的是，两者之和不能超过`yarn.scheduler.maximum-allocation-mb`设置的值，本集群中该值为60GB。 ##### 1.2 配置Driver内存 Driver端是Spark应用程序的主控程序，负责调度任务、监控状态等。虽然Driver端...
CDH 5.x 调优
u011594486的专栏
08-23 3960
CDH 5.x 调优 mapreduce.map.memory.mb，map任务内存，cdh默认1G mapreduce.map.cpu.vcores，map任务虚拟CPU核数，cdh默认1 mapreduce.reduce.memory.mb，reduce任务内存，cdh默认1G mapreduce.reduce.cpu.vcores，reduce任务虚拟CPU核数，cdh默认1 yarn.nodemanager.resource.memory-mb，容器内存，cdh默认8G yarn.nodemanag
23、hadoop集群中yarn运行mapreduce的内存、CPU分配调度计算与优化
alanchanchn的专栏
05-01 7万+
hadoop yarn支持内存与CPU两种资源的调度方式。YARN作为一个资源调度器，应该考虑到集群里面每一台机子的计算资源，然后根据application申请的资源进行分配Container。Container是YARN里面资源分配的基本单位，具有一定的内存以及CPU资源。在YARN集群中，平衡内存、CPU、磁盘的资源的很重要的，根据经验，每两个container使用一块磁盘以及一个CPU核的时候可以使集群的资源得到一个比较好的利用。主要涉及参数有。
YARN的Memory和CPU调优配置详解
11号车厢
07-12 902
文章目录1、内存配置2、CPU配置 Hadoop YARN同时支持内存和CPU两种资源的调度，本文介绍如何配置YARN对内存和CPU的使用。 YARN作为一个资源调度器，应该考虑到集群里面每一台机子的计算资源，然后根据application申请的资源进行分配Container。Container是YARN里面资源分配的基本单位，具有一定的内存以及CPU资源。 在YARN集群中，平衡内存、CPU、磁...
提高 yarn 平台任务的并发执行数量
骑着蜗牛向前跑的博客
10-10 2744
让 yarn 同事执行多个任务，可以提高集群资源的利用效率，也提高了任务的执行效率。description 写的很清楚：所有正在运行的 application 使用的资源占集群总资源的最大百分比。经常会看到一个现象，RUNNING 状态的 application 使用的内存资源大于我们提交任务时申请的资源数。yarn 平台为任务分配资源的时候，有最小资源分配数和最大资源分配数的限制，且这两个限制都可以通过配置参数修改。实际 executor 分配的内存 = 申请的内存 + 额外配置的内存。
YARN 在字节跳动的优化与实践
过往记忆大数据
06-23 1492
导读:本文从利用率提升、多负载场景优化、稳定性提升、异地多活四个方面介绍了字节跳动在四年来对 Hadoop YARN 进行的一系列的优化，以及生产环境中的实践经验。1.YARN 简介1...
大数据运维实战第二十六课 Yarn、HDFS、Kafka 内存调优策略以及性能瓶颈
fegus的博客
08-20 1231
Hadoop 性能调优是一项复杂烦琐、难度极大的工作，不仅要求对 Hadoop 本身有深刻理解，还涉及底层硬件、网络、操作系统、Java 虚拟机等方面的调优工作。Hadoop 性能调优，不仅靠运维，还需开发人员一起参与：运维人员负责为用户提供一个高效稳定的任务运行环境；开发人员则需要根据自己任务的特点写出好的程序，让任务快速、高效地完成。
yarn 内存与CPU参数设置
鸭梨的博客
02-24 8500
每个job提交到yarn上执行时，都会分配Container容器去运行，而这个容器需要资源才能运行，这个资源就是Cpu和内存。 1、CPU资源调度 目前的CPU被Yarn划分为虚拟CPU，这是yarn自己引入的概念，因为每个服务器的Cpu计算能力不一样，有的机器可能是 其他机器的计算能力的2倍，然后可以通过多配置几个虚拟内存弥补差异。在yarn中，cpu的相关配置如下。 yarn.nodemanager.resource.cpu-vcores 表示该节点服务器上yarn可以使用的虚拟的CPU个数，默认是8
大数据之Yarn——Capacity调度器概念以及配置
weixin_34055910的博客
12-13 245
试想一下，你现在所在的公司有一个hadoop的集群。但是A项目组经常做一些定时的BI报表，B项目组则经常使用一些软件做一些临时需求。那么他们肯定会遇到同时提交任务的场景，这个时候到底如何分配资源满足这两个任务呢？是先执行A的任务，再执行B的任务，还是同时跑两个？ 如果你存在上述的困惑，可以多了解一些yarn的资源调度器。 在Yarn框架中，调度器是一块很重要的内容。有了合适的调度规则，就可以保...
cdh之调整YARN（调优yarn 生产必做优化项）004
weixin_33788244的博客
03-26 1859
2019/3/26 星期二调整YARN本主题仅适用于YARN群集，并介绍如何为群集调整和优化YARN。注意：下载Cloudera YARN调整电子表格以帮助计算YARN配置。 有关简短视频概述，请参阅调整YARN应用程序。概观此概述提供YARN群集的抽象描述和YARN调整的目标。 YARN群集由主机组成。 主机提供内存和CPU资源。 vcore或虚拟核心是主机CPU的使用份额。 调整YARN主要包...
Yarn资源分配性能调优
茄肥猫的窝
01-28 1万+
日志： Container [pid=134663,containerID=container_1430287094897_0049_02_067966] is running beyond physical memory limits. Current usage: 1.0 GB of 1 GB physical memory used; 1.5 GB of 10 GB virtual mem
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值