CDH yarn 管理的内核个数、内存大小配置方式

最新推荐文章于 2022-07-10 16:14:06 发布
最新推荐文章于 2022-07-10 16:14:06 发布
阅读量1.9k 收藏 6
点赞数
分类专栏： Spark Hadoop 文章标签： hadoop spark yarn
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/az9996/article/details/120055086
版权
本文指导如何在ClouderaManager中配置YARN，重点讲解如何设置yarn.nodemanager.resource.cpu-vcores和yarn.nodemanager.resource.memory-mb，以确保容器资源合理分配，建议比例和参考链接提供详细步骤。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

在Cloudera Manager的群集内选择yarn进入yarn的配置界面

在筛选器一栏中选择资源管理

CPU

搜索配置项
yarn.nodemanager.resource.cpu-vcores

可以为容器分配的虚拟 CPU 内核的数量
这个数值可以大于物理机实际的cpu内核数量，cdh好像不会校验，这里一般按1:1来设置

数值根据node manager节点所在物理机的配置来设置

集群所有物理机的信息在“主机”页面进行查看
在这里插入图片描述

在这里插入图片描述

内存

搜索yarn.nodemanager.resource.memory-mb
数值根据nodemanager所在物理机内存进行调整，一般设置为物理机内存的70%或80%，或者其它数值。
在这里插入图片描述

参考资料

https://blog.youkuaiyun.com/xiaolong_4_2/article/details/84849220

生产环境CDH集群主机加内存导致系统无法启动,重装系统后CDH数据修复的过程
十八闲客的博客,专注于大数据运维
07-28 550
1.要多看报错的内容,根据报错的内容一步步的修复2.保证有一台namenode是可用的3.保证各个组件的元数据库是正常使用的.4.修复的时候要胆大心细,操作之前要写好操作方案去实施,不然思路上不清晰,修复起来会出现各种问题5.修复之前要针对元数据库和组件分布到各个主机上要做好备份。
CDH集群之YARN性能调优
jmx_bigdata的博客
12-03 2431
本文主要讨论CDH集群的YARN调优配置，关于YARN的调优配置，主要关注CPU和内存的调优，其中CPU是指物理CPU个数乘以CPU核数，即Vcores = CPU数量*CPU核数。YARN是以container容器的形式封装资源的，task在container内部执行。 集群配置 集群的配置主要包括三步，第一是先规划集群的工作主机以及每台主机的配置，第二是规划每台主机的安装的组件及其资源分配，...
CDH软硬件配置建议
12-07
该文档为Cloudera官方提供的CDH部署的软硬件配置建议，包括操作系统、JDK、浏览器、数据库、Hadoop关键组件版本、硬件配置以及网络拓扑等相关配置建议。
CDH yarn参数设置
peidezhi的专栏
10-24 4542
每节点管理器总的cpu核数 （一般设置等于cpu总核数） 整个yarn资源池核数=node数 * 此参数yarn.nodemanager.resource.cpu-vcores ApplicationMaster 分配的CPU 核数yarn.app.mapreduce.am.resource.cpu-vcores Map 任务分配的CPU核数 mapreduce.ma...
CDH hadoop里面 yarn常用配置优化 （避免踩坑）
ShiHao_Li的博客
04-26 943
CDH hadoop里面 yarn常用配置优化 （避免踩坑） 自己日常用到的yarn一些调优参数，避免同学们踩坑。如有补充，还望同学们多多留言。 1.相应的集群配置环境 128G内存，cpu为48核 2.yarn 内存配置 #表示该nodemanager节点上YARN可使用的物理内存总量 （如：128G可取 90G） yarn.nodemanager.resource.memory-mb #container内存范围的最小值（如：可取 2G） yarn.scheduler.minimum-allocati
CDH集群中YARN的参数配置
weixin_34245082的博客
02-18 218
2019独角兽企业重金招聘Python工程师标准>>> ...
cdh---yarn资源
weixin_30640291的博客
12-19 247
1.修改yarn每个节点的内存大小 下图yarn是各个节点内存的大小 2.对yarn这些资源配置解释 yarn.nodemanager.resource.memory-mb表示该节点上YARN可使用的物理内存总量，默认是8192（MB），注意，如果你的节点内存资源不够8GB，则需要调减小这个值，而YARN不会智能的探测节点的物理内存总量。yarn.nodemanager.v...
基于CDH5.13版本的集群YARN调优
hadoopp的博客
08-29 468
YARN参数优化 1、Mapreduce 提交复制 mapreduce.client.submit.file.replication mapreduce任务数据的副本数，默认是10，比普通HDFS文件的默认幅本数大很多，可能也是考虑到把输入数据放到更多的DN上，尽可能实现本地数据计算，但会增大数据量，更改为1个副本 2、MapReduce 作业的最大尝试次数 MapReduce 作...
cdh部署flink on yarn
最新发布
09-29
4. yarn.container.memory-mb: 设置每个Flink任务容器（TaskManager）的内存大小，以MB为单位。 5. yarn.container.vcores: 设置每个Flink任务容器（TaskManager）的虚拟内核数。 接下来，在CDH集群上启动一个YARN...
java yarn_JAVA语言提交spark任务到yarn平台的配置讲解
weixin_34365336的博客
02-15 1338
本文主要向大家介绍了JAVA语言提交spark任务到yarn平台的配置讲解，通过具体的内容向大家展示，希望对大家学习JAVA语言有所帮助。一、背景采用spark的方式处理，所以需要将spark的功能集成到代码，采用yarn客户端的方式管理spark任务。不需要将cdh的一些配置文件放到resource路径下，只需要配置一些配置即可，非常方便二、任务管理架构三、接口1、任务提交1./**2.*提...
Cloudera CDH 安装和配置文档
01-13
为了便于系统管理员和Hadoop用户安装和管理Cloudera CDH，文档详细介绍了从机器规划到各组件的安装与配置过程。接下来，我将详细阐述这些知识点。 ### 第1章 系统概述 #### 1.1 机器规划 机器规划是实施Hadoop集群...
cdh内存分配参考文档
adshiye的博客
01-29 8377
基于以下环境提供参考值： 5台内存32G、cpu8核的服务器，操作系统为centos6.8 总内存： 160G 总核数： 40核 不同的环境可以根据自己环境的总内存以及总内核和这个参考值得出系数,那么：值= 推荐值 X 系数 hdfs 参数 解释 值 NameNode 的 Java 堆栈大小 Java 进程堆栈内存的最大大小,改Java进程主要是：维...
CDH各组件的配置及优化
Sen的博客
02-26 2197
CDH各组件的配置及优化 Oozie-Hue 的配置 Oozie 安装好之后，启动web界面会看到如下图： 下载Ext Js 依赖：http://archive.cloudera.com/gplextras/misc/ wget http://archive.cloudera.com/gplextras/misc/ext-2.2.zip unzip ext-2.2.zip cp -r ext-2.2 /var/lib/oozie/ cd /var/lib/oozie/ chown -R oozie:oozi
CDH集群配置
DCHAO的博客
08-22 1570
原理 目前的CDH集群安装的配置主要考虑的是内存和CPU核数的分配，因为内存和CPU的配置直接影响集群的性能。其他的配置则跟集群整体规划有关，如NameNode，ResourceManager，zookeeper等安装在哪；block块的大小；以及是否需要开启CDH本身提供的一些功能等等。所以以下会分两个部分描述集群的配置文件：内存和CPU参数部分，其他常用配置部分。最后给出整个集群的详细配置参数...
hadoop的yarn容器、内存、vcore设计
张伟的专栏
07-10 1951
hadoop的yarn容器、内存、vcore设计
Yarn 的虚拟内存是什么意思
h952520296的博客
02-04 1542
Hadoop YARN同时支持内存和CPU两种资源的调度,默认只支持内存，如果想进一步调度CPU，需要自己进行一些配置。 目前的CPU被划分成虚拟CPU（CPU virtual Core），这里的虚拟CPU是YARN自己引入的概念，初衷是，考虑到不同节点的CPU性能可能不同，每个CPU具有的计算能力也是不一样的，比如某个物理CPU的计算能力可能是另外一个物理CPU的2倍，这时候，你可以通过为第一个物理CPU多配置几个虚拟CPU弥补这种差异。用户提交作业时，可以指定每个任务需要的虚拟CPU个数。 内存资.
【CDH】超详细-搭建本地大数据研发环境（16G内存+CDH）
菜鸟叔叔的博客
06-11 2007
工欲善其事必先利其器，在经过大量的理论学习以后，需要有一个本地的研发环境来进行练手。已经工作的可以不依赖于公司的环境，在家也可以随意的练习。而自学大数据的同学，也可以进行本地练习，大数据是一门偏实践的学科，在找工作之前进行一些实践操作，也更利于对大数据知识的理解。本文将从头开始详细的记录整个大数据环境的搭建过程，本文所使用的笔记本电脑内存为16G，将使用CDH6.3.2管理整个大数据集群。本文共四个部分，一定要保证每一个部分都安装成功以后再向下进行。首先要安装好VMwareWorkstation软件，随后新
Spark on YARN&Mesos：集群资源管理的挑战与实践
它允许多个框架（如Spark、Kubernetes等）并存，每个框架都可以独立管理其资源，从而解决了YARN在某些场景下粒度控制不足的问题。 YARN和Mesos在集群资源管理上各有优缺点。YARN与Hadoop生态紧密集成，但资源调度...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值