yarn使用cgroup隔离cpu资源

最新推荐文章于 2025-06-25 07:00:00 发布
转载 最新推荐文章于 2025-06-25 07:00:00 发布 · 289 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：https://blog.youkuaiyun.com/leone911/article/details/77849271

本文介绍如何利用YARN与CGroup实现CPU资源的隔离，详细讲解了CGroup的安装、配置及资源隔离步骤，同时提供了YARN配置示例及常见问题解决方案。

yarn使用cgroup隔离cpu资源

yarn默认只管理内存资源,虽然也可以申请cpu资源,但是在没有cpu资源隔离的情况下效果并不是太好.在集群规模大,任务多时资源竞争的问题尤为严重.
还好yarn提供的LinuxContainerExecutor可以通过cgroup来隔离cpu资源

cgroup

cgroup是系统提供的资源隔离功能,可以隔离系统的多种类型的资源,yarn只用来隔离cpu资源

安装cgroup

默认系统已经安装了cgroup了,如果没有安装可以通过命令安装
CentOS 6

yum install -y libcgroup

CentOS 7

yum install -y libcgroup-tools

然后通过命令启动
CentOS 6

/etc/init.d/cgconfig start

CentOS 7

systemctl start cgconfig.service

查看/cgroup目录,可以看到里面已经创建了一些目录,这些目录就是可以隔离的资源

 

  1. drwxr-xr-x 2 root root 0 3月 19 20:56 blkio

  2. drwxr-xr-x 3 root root 0 3月 19 20:56 cpu

  3. drwxr-xr-x 2 root root 0 3月 19 20:56 cpuacct

  4. drwxr-xr-x 2 root root 0 3月 19 20:56 cpuset

  5. drwxr-xr-x 2 root root 0 3月 19 20:56 devices

  6. drwxr-xr-x 2 root root 0 3月 19 20:56 freezer

  7. drwxr-xr-x 2 root root 0 3月 19 20:56 memory

  8. drwxr-xr-x 2 root root 0 3月 19 20:56 net_cls

如果目录没有创建可以执行

 

  1. cd /

  2. mkdir cgroup

  3. mount -t tmpfs cgroup_root ./cgroup

  4. mkdir cgroup/cpuset

  5. mount -t cgroup -ocpuset cpuset ./cgroup/cpuset/

  6. mkdir cgroup/cpu

  7. mount -t cgroup -ocpu cpu ./cgroup/cpu/

  8. mkdir cgroup/memory

  9. mount -t cgroup -omemory memory ./cgroup/memory/

通过cgroup隔离cpu资源的步骤为

  1. 在cpu目录创建分组
    cgroup以组为单位隔离资源,同一个组可以使用的资源相同
    一个组在cgroup里面体现为一个文件夹,创建分组直接使用mkdir命令即可.
    组下面还可以创建下级组.最终可以形成一个树形结构来完成复杂的资源隔离方案.
    每当创建了一个组,系统会自动在目录立即创建一些文件,资源控制主要就是通过配置这些文件来完成 
     

    1. --w--w--w- 1 root root 0 3月 19 21:09 cgroup.event_control

    2. -rw-r--r-- 1 root root 0 3月 19 21:09 cgroup.procs

    3. -rw-r--r-- 1 root root 0 3月 19 21:09 cpu.cfs_period_us

    4. -rw-r--r-- 1 root root 0 3月 19 21:09 cpu.cfs_quota_us

    5. -rw-r--r-- 1 root root 0 3月 19 21:09 cpu.rt_period_us

    6. -rw-r--r-- 1 root root 0 3月 19 21:09 cpu.rt_runtime_us

    7. -rw-r--r-- 1 root root 0 3月 19 21:09 cpu.shares

    8. -r--r--r-- 1 root root 0 3月 19 21:09 cpu.stat

    9. -rw-r--r-- 1 root root 0 3月 19 21:09 notify_on_release

    10. -rw-r--r-- 1 root root 0 3月 19 21:09 tasks

    yarn默认使用hadoop-yarn组作为最上层,任务运行时yarn会为每个container在hadoop-yarn里面创建一个组
    yarn主要使用cpu.cfs_quota_us cpu.cfs_period_us cpu.shares3个文件
    yarn使用cgroup的两种方式来控制cpu资源分配
    1. 严格按核数隔离资源
      可使用核数 = cpu.cfs_quota_us/cpu.cfs_period_us
      在yarn中cpu.cfs_quota_us被直接设置为1000000(这个参数可以设置的最大值)
      然后根据任务申请的core来计算出cpu.cfs_period_us
    2. 按比例隔离资源
      按每个分组里面cpu.shares的比率来分配cpu
      比如A B C三个分组,cpu.shares分别设置为1024 1024 2048,那么他们可以使用的cpu比率为1:1:2
  2. 将进程id添加到指定组的tasks文件
    创建完分组后只需要将要限制的进程的id写入tasks文件即可,如果需要解除限制,在tasks文件删除即可

yarn配置

启动cgroup需要配置几个配置文件

etc/hadoop/yarn-site.xml配置

可以参考http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/NodeManagerCgroups.html 配置
这些配置大部分都是固定配置

 

  1. <property>

  2. <name>yarn.nodemanager.container-executor.class</name>

  3. <value>org.apache.hadoop.yarn.server.nodemanager.LinuxContainerExecutor</value>

  4. </property>

  5. <property>

  6. <name>yarn.nodemanager.linux-container-executor.resources-handler.class</name>

  7. <value>org.apache.hadoop.yarn.server.nodemanager.util.CgroupsLCEResourcesHandler</value>

  8. </property>

  9. <property>

  10. <description>yarn使用的cgroup组,默认为/hadoop-yarn</description>

  11. <name>yarn.nodemanager.linux-container-executor.cgroups.hierarchy</name>

  12. <value>/hadoop-yarn</value>

  13. </property>

  14. <property>

  15. <description>是否自动挂载cgroup</description>

  16. <name>yarn.nodemanager.linux-container-executor.cgroups.mount</name>

  17. <value>true</value>

  18. </property>

  19. <property>

  20. <description>cgroup挂载目录, /sys/fs/cgroup 或者是 /cgroup,目录和系统有关</description>

  21. <name>yarn.nodemanager.linux-container-executor.cgroups.mount-path</name>

  22. <value>/cgroup</value>

  23. </property>

  24. <property>

  25. <name>yarn.nodemanager.linux-container-executor.group</name>

  26. <value>hadoop</value>

  27. </property>

  28. <property>

  29. <description>配置nodemanager使用多少物理cpu资源,比如24核服务器配置90的话,最近使用21.6核</description>

  30. <name>yarn.nodemanager.resource.percentage-physical-cpu-limit</name>

  31. <value>90</value>

  32. </property>

  33. <property>

  34. <description>是控制是否严格限制cpu,即按任务申请的core限制,还是非严格限制,即按core的比率限制</description>

  35. <name>yarn.nodemanager.linux-container-executor.cgroups.strict-resource-usage</name>

  36. <value>true</value>

  37. </property>

  38. <property>

  39. <description>非安全模式将会以这里设置的用户运行container,比如配置hadoop用户则以hadoop运行container</description>

  40. <name>yarn.nodemanager.linux-container-executor.nonsecure-mode.local-user</name>

  41. <value>hadoop</value>

  42. </property>

etc/hadoop/container-executor.cfg配置

这个配置文件每项都需要填,要不然会报错

 

  1. yarn.nodemanager.linux-container-executor.group=hadoop

  2. banned.users=root

  3. min.user.id=1000

  4. allowed.system.users=hadoop

权限设置

在配置中文件的权限有特殊要求

 

  1. chown root:hadoop bin/container-executor

  2. chmod 6050 bin/container-executor

系统还要求etc/hadoop/container-executor.cfg 的所有父目录(一直到/ 目录) owner 都为 root
这个路径是默认${HADOOP_HOME}/etc/hadoop/container-executor.cfg,如果不方便修改所有父级目录为root权限,可以重新编译代码到其他目录,比如/etc/hadoop/目录

mvn clean package -Dcontainer-executor.conf.dir=/etc/hadoop/ -DskipTests -Pnative

配置好以后检测是否配置成功

./bin/container-executor --checksetup

如果没有任何输出表示配置成功
如果一切顺利就可以启动集群了

测试cgroup

可以运行测试脚本测试系统

 

  1. ./bin/spark-submit \

  2. --class org.apache.spark.examples.SparkPi \

  3. --master yarn-cluster \

  4. --deploy-mode cluster \

  5. --num-executors 5 \

  6. --executor-cores 3 \

  7. --executor-memory 4G \

  8. --driver-memory 4G \

  9. --driver-cores 2 \

  10. lib/spark-examples-1.6.0-hadoop2.6.0.jar 10000

查看系统是否生效只能登录到服务器查看
通过top查看信息


查看是否创建了cgroup分组,ll /cgroup/hadoop-yarn/

 

  1. --w--w--w- 1 root root 0 3月 17 15:44 cgroup.event_control

  2. -rw-r--r-- 1 root root 0 3月 17 15:44 cgroup.procs

  3. drwxr-xr-x 2 root root 0 3月 17 16:06 container_1489736876249_0003_01_000011

  4. drwxr-xr-x 2 root root 0 3月 17 16:06 container_1489736876249_0003_01_000026

  5. drwxr-xr-x 2 root root 0 3月 17 16:06 container_1489736876249_0003_01_000051

  6. drwxr-xr-x 2 root root 0 3月 17 16:06 container_1489736876249_0003_01_000076

  7. drwxr-xr-x 2 root root 0 3月 17 16:06 container_1489736876249_0003_01_000101

  8. drwxr-xr-x 2 root root 0 3月 17 16:06 container_1489736876249_0003_01_000123

  9. drwxr-xr-x 2 root root 0 3月 17 16:06 container_1489736876249_0003_01_000136

  10. drwxr-xr-x 2 root root 0 3月 17 16:06 container_1489736876249_0003_01_000155

  11. drwxr-xr-x 2 root root 0 3月 17 16:30 container_1489736876249_0004_01_000008

  12. -rw-r--r-- 1 root root 0 3月 17 15:47 cpu.cfs_period_us

  13. -rw-r--r-- 1 root root 0 3月 17 15:47 cpu.cfs_quota_us

  14. -rw-r--r-- 1 root root 0 3月 17 15:44 cpu.rt_period_us

  15. -rw-r--r-- 1 root root 0 3月 17 15:44 cpu.rt_runtime_us

  16. -rw-r--r-- 1 root root 0 3月 17 15:44 cpu.shares

  17. -r--r--r-- 1 root root 0 3月 17 15:44 cpu.stat

  18. -rw-r--r-- 1 root root 0 3月 17 15:44 notify_on_release

  19. -rw-r--r-- 1 root root 0 3月 17 15:44 tasks

查看container_*目录下 cpu.cfs_period_us,计算cpu.cfs_quota_us/cpu.cfs_period_us即可知道分配的核数

 

  1. [root@- ~]# cat /cgroup/cpu/hadoop-yarn/container*/cpu.cfs_period_us

  2. 462962

  3. 462962

  4. 462962

  5. 462962

  6. 462962

  7. 462962

  8. 462962

  9. 462962

  10. 308641

问题处理

配置的过程中免不了会碰上一些问题,以下是我碰到的问题

spark任务申请了core,node manager分配不正确,都是分配1个核

这个是由于目前使用的capacity scheduler的资源计算方式只考虑了内存,没有考虑CPU
这种方式会导致资源使用情况统计不准确,比如一个saprk程序启动命令资源参数如下

--num-executors 1 --executor-cores 3 --executor-memory 4G --driver-memory 4G --driver-cores 1

DefaultResourceCalculator 统计占2核
DominantResourceCalculator 统计占4核
修改配置文件即可解决

 

  1. <property>

  2. <name>yarn.scheduler.capacity.resource-calculator</name>

  3. <value>org.apache.hadoop.yarn.util.resource.DominantResourceCalculator</value>

  4. <description>

  5. The ResourceCalculator implementation to be used to compare

  6. Resources in the scheduler.

  7. The default i.e. DefaultResourceCalculator only uses Memory while

  8. DominantResourceCalculator uses dominant-resource to compare

  9. multi-dimensional resources such as Memory, CPU etc.

  10. </description>

  11. </property>

container-executor运行时报缺少GLIBC_2.14库

container-executor: /lib64/libc.so.6: version `GLIBC_2.14' not found (required by bin/container-executor)

这个和系统版本有关,只能通过重新编译container-executor来解决

mvn clean package -Dcontainer-executor.conf.dir=/etc/hadoop/ -DskipTests -Pnative

centos 7系统container启动报错,不能写入/cgroup/cpu

这个是yarn在centos 7下的一个bug,hadoop 2.8以后的版本才会解决
这个bug主要是因为centos 7下cgroup的目录和centos 6不一致导致,centos 7 cpu目录合并成cpu,cpuacct, 这个,导致的错误,需要打补丁后编译https://issues.apache.org/jira/browse/YARN-2194

 

  1. private String findControllerInMtab(String controller,

  2. Map<String, List<String>> entries) {

  3. for (Entry<String, List<String>> e : entries.entrySet()) {

  4. // if (e.getValue().contains(controller))

  5. // return e.getKey();

  6.  

  7. if (e.getValue().contains(controller)) {

  8. String controllerKey = e.getKey();

  9. // In Redhat7, the controller is called "/sys/fs/cgroup/cpu,cpuacct"

  10. controllerKey = controllerKey.replace("cpu,cpuacct", "cpu");

  11. if (new File(controllerKey).exists()) {

  12. return controllerKey;

  13. }

  14. }

  15. }

  16.  

  17. return null;

  18. }

升级的风险

由于改变了资源的隔离方式,升级可能有几个方面的影响

任务资源分配问题

升级cgroup后单个任务如果以前资源分配不合理可能会出现计算延时情况,出现资源问题时需要调整任务资源
在集群规模小的时候可能没有资源可以调整,那么可以修改为非严格模式,非严格模式不能按配置限制资源,只能保证资源不被少数进程全部占用

 

  1. <property>

  2. <name>yarn.nodemanager.linux-container-executor.cgroups.strict-resource-usage</name>

  3. <value>false</value>

  4. </property

spark driver资源问题

spark任务的driver在集群模式deploy-mode cluster时,如果没有配置driver-cores的话默认分配1核,1核在任务规模大时有可能资源会紧张.采用deploy-mode client模式的不受cgroup限制

Yarn Cpu 资源隔离配置
shamingnengyong的专栏
04-10 1282
Ambari 2.7.3 yarn cpu资源隔离 一、修改配置 1、进入到ambari主界面 点击yarn 2、点击config 3、CPU Scheduling and Isolation 设置为enable 如图： 4、 修改高级配置 1）、点击ADVANCED 2）、搜索需要修改的配置 3）、修改配置项如下 vi /etc/init.d/mount_cpu.sh 1)、yar...
cgroups是linux内核中限制、记录、隔离进程组（process groups）所使用的物理资源的机制
小郑
04-09 1023
子进程在容器中，物理机中的就是父进程，子进程也叫线程应用程序运行环境隔离的空间，就是一个命名空间，每一个空间都将拥有UTS、IPC、Mount 、 Net、User、PID9大子系统把资源定义为子系统，可以通过子系统对资源进行限制CPU 可以控制进程使用CPU的比例，1024等份一分钟，每秒各进程占用cpu都是分比例分配的memory 限制内存使用，例如50Mi,150Miblkio 限制块设备的IO，也就是限制IO流的带宽。
伪分布式下Hadoop测试yarn启用cgroup对资源隔离的影响
12-10
该文档为本人顶着工作压力最终搞定的，研究hadoop yarn启用cgoup对cpu资源隔离的影响，希望对你有用
Yarn 使用 Cgroup 实现任务资源限制
mojolang
05-20 2528
Linux CGroup 全称是 Linux Control Group，是 Linux 内核提供的一个用来限制进程资源使用的功能，支持如 CPU, 内存，磁盘 IO 等资源的使用限制。用户可以使用 CGroup 对单个进程或者一组进程进行精细化的资源限制，具体使用方式可以查看参考文档。 目前， Yarn NodeManager 能够使用 CGroup 来限制所有 containers 的资源使用，主要是 CPU 资源。如果不用 CGroup， 在 NM 端很难实现对 container 的 CPU 使用
YARN 中的 CPU 资源隔离：基于 Cgroups 的实现
Dragon_Z的博客
10-25 767
在 YARN中，CPU 资源隔离通过实现。Cgroups 是 Linux 内核中的一个功能，允许我们限制、控制和隔离进程的资源使用。YARN 利用 Cgroups 来隔离和管理容器的 CPU 资源，确保每个任务在集群中公平地获得计算资源，避免相互干扰，提高集群的资源利用效率。
Hadoop YARN启动cgroup进行cpu资源管理
weixin_47665032的博客
01-28 2658
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
Hadoop伪分布式测试：YARN启用cgroup对CPU资源隔离的影响分析
启用cgroup后，YARN可以根据配置动态地限制每个应用容器的CPU使用比例，防止一个任务占用过多的CPU资源，影响其他任务的执行。 在测试环境中，作者使用的是CentOS 6.5操作系统，JDK 1.8.0_91，Scala，以及Hadoop ...
yarn启用cgroup的必要性，我200+节点没有用
最新发布
主要写大数据集群一线运维和学习工作经验
06-25 200
在 YARN 集群中启用是，尤其在多租户、混合负载（在线+离线）场景下具有显著优势。
spark on yarn cgroup 资源隔离(cpu篇)
偷闲小苑
08-02 4339
环境配置 cdh 5.9.0 cm 5.15.0 os centos 7.2 背景 yarn container 默认不支持对cpu进行资源隔离，一些计算密集型任务甚至可能占满NM节点的cpu资源，从而影响到其他任务的执行效率。 spark streaming 出现消费延时 一些调度任务运行时间波动较大 目标 限制一些计算密集型任务的CPU使用，避免多 Cont...
YARN之CGroups
zincooo的博客
07-06 570
Overview：YARN的使用在国内越来越广泛，是大数据调度的首选。但是默认的机制无法对CPU资源进行限制。会有一些极端的情况：某个任务占用了机器的大部分CPU资源，对其他任务会产生很大影响，这种情况默认YARN是无法控制的。
yarn中的cgroup调度
隔壁老杨的专栏
09-22 4561
yarn中cgroup的调度
yarn的cpu资源隔离
05-31 2381
1、cpu子系统的介绍 cpu子系统用于控制cgroup中所有进程可以使用的cpu时间片。Cpu子系统管理cpu资源的使用是通过调度器实现的。主要有两种调度器： CFS（completely fair scheduler）调度器：基于进程组的优先级或控制组的shares参数在控制组间按比例划分cpu时间。 RT（real-time）调度器：用与实时进程，控制实时进程的cpu时
YARN中的CPU资源隔离-CGroups
weixin_34004750的博客
02-07 661
0. 前言 CGroups(Control Groups)是Linux内核的一个资源隔离功能，限制/隔离/统计进程的资源使用，包括CPU/内存/磁盘IO/网络等资源。 YARN中也集成了CGroups的功能，使得NodeManger可以对container的CPU的资源使用进行控制，比如可以对单个container的CPU使用进行控制，也可以对NodeM...
Hadoop3.2.0 YARN CGroup
张伯毅的专栏
02-20 3766
CGroups配置 CGroups挂载选项 CGroups和安全 CGroups是一种机制，用于将任务集及其所有未来子集聚合/分区为具有专门行为的层次组。CGroups是Linux内核功能，并且已合并到内核版本2.6.24中。从YARN的角度来看，这允许容器的资源使用受到限制。一个很好的例子是CPU使用率。没有CGroups，就很难限制容器CPU的使用。 CGroups配置 本节介绍使用C...
yarn中对cpu资源做隔离
YDK1912的博客
11-12 196
https://www.jianshu.com/p/e283ab7e2530 https://blog.csdn.net/lsshlsw/article/details/81365050 转载于:https://www.cnblogs.com/cqdxwjd/p/9948508.html
YARN回顾（四）——CPU资源隔离
节至
08-14 2199
yarn默认只管理内存资源,虽然也可以申请cpu资源,但是在没有cpu资源隔离的情况下效果并不是太好.在集群规模大,任务多时资源竞争的问题尤为严重，还好yarn提供的LinuxContainerExecutor可以通过cgroup来隔离cpu资源。 一、cgroup cgroup是系统提供的资源隔离功能,可以隔离系统的多种类型的资源,yarn只用来隔离cpu资源 1.1 安装cgro...
yarn启用CGroups
Stereo
10-23 2457
1. Enabling CGroups CGroups is a Linux kernel feature. Currently HDP supports CGroups on RHEL6 and Centos6. HDP does not support the default CGroups on Centos7 or RHEL7. However, Centos7 and RHEL7
Hadoop YARN CGroup 实践
Shyllin的博客
12-28 1795
Hadoop YARN CGroup 生产实践
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值