资源控制在大数据和云计算平台中的应用

本文链接：https://blog.youkuaiyun.com/dev_csdn/article/details/79403239

本文介绍了资源控制在大数据和云计算平台中的重要性，详细讨论了Linux的cgroup、Windows的JobObjects以及Docker容器的资源控制。通过cgroup限制进程的内存和CPU使用，JobObjects在Windows上的资源管理，以及Docker如何管理容器资源。同时，文章还提到了YARN在容器资源管理中的应用，支持动态调整容器大小，确保大数据作业的高效运行。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

作者：吕金明，系统架构师，2011加入IBM至今，一直从事分布式计算以及大数据相关的研发工作，以及大数据产品的集成，如Spark，Docker, Kubernetes, Tensorflow等开源框架及技术。

简介

在大数据迅速发展的今天，很大一部分支持来自于底层技术的不断发展，其中非常重要的一点就是系统资源的管理和控制，大数据平台的核心就是对资源的调度管理，在调度和管理之后如何对这些资源进行控制便成了另一个重要的问题。大数据系统中用户成千上万的作业进程跑在集群中，如果不能对这些进程的资源进行控制，那么大数据平台将变得举步维艰，整个集群便会随时崩溃。同时，大数据作业的调度也是基于资源的配额进行分配，大数据的作业本身就承载了资源配额的属性，但是这些作业是否按照配额进行运行和计算，是否超过了指定的配额导致overuse，是否达不到指定的配额导致资源浪费，这一直以来都是大数据平台面对和要解决的问题。

本文针对大数据平台中资源控制这个层面来详细介绍资源控制在不同操作系统上的具体技术实现，以及大数据平台和资源控制的集成。

资源控制使用的系统功能

平台	功能	简述
Linux	control groups	control groups 简称为cgroup，是Linux内核的一部分，cgroup可以为一组进程定义组群分配资源，这个组群分配资源可以包含CPU时间，内存，网络带宽，并且定义的这些资源分配可以动态修改。
Windows	Job Objects	Job Objects 是Windows内核的一部分，简称“作业对象”，作业对象将一组进程作为一个单元进行管理。作业对象可以命名，是安全的、可共享的对象，对作业对象执行的操作会影响与作业对象关联的所有进程。可以对作业对象设置CPU时间，内存，磁盘访问等限制。

cgroup简介

cgroup是Linux内核的一部分，cgroup可以为一组进程定义组群分配资源，这个组群分配资源可以包含CPU时间，内存，网络带宽，并且定义的这些资源分配可以动态修改。cgroup以一种层级结构(hierarchical)聚合和管理进程，将所有任务进程以文件夹的形式组成一个控制族群树，子控制组自动继承父节点的特定属性，子控制组还可以有自己特定的属性。

cgroup提供一些subsystem作为控制族群树的根节点，所有的任务进程都以这些子系统为入口按树状结构设置资源配额。Red Hat Linux 7.3 提供 12 个 cgroup 子系统，根据名称和功能列出如下。

cgroup各子系统功能

blkio	为I/O设备设定输入/输出限制，比如物理设备（磁盘，固态硬盘，USB 等等）
cpu	提供对CPU使用额度的控制
cpuacct	自动生成cgroup中任务所使用CPU的报告
cpuset	为 cgroup 中的任务分配独立 CPU（在多核系统）内核
devices	允许或者拒绝 cgroup 中的任务访问设备
freezer	挂起或者恢复 cgroup 中的任务
memory	设定 cgroup 中任务使用的内存限制，包括物理内存和虚拟内存，并自动生成由那些任务使用的内存资源报告
net_cls	使用等级识别符（classid）标记网络数据包，可允许 Linux 流量控制程序（tc）识别从具体 cgroup 中生成的数据包
ns	名称空间子系统
perf_event	增加了对每group的监测跟踪的能力，即可以监测属于某个特定的group的所有线程以及运行在特定CPU上的线程
hugetlb	允许限制cgroup 的HubeTLB使用
pids	实现对某个控制组中进程和线程的总数进行限制

可通过以下命令查看操作系统支持的cgroup子系统，同时显示各个子系统挂载的根目录（也可以查看系统文件/proc/mount或者使用命令lssubsys -a）：

[root@docker ~]# mount | grep cgroup
tmpfs on /sys/fs/cgroup type tmpfs (ro,nosuid,nodev,noexec,mode=755)
cgroup on /sys/fs/cgroup/systemd type cgroup (rw,nosuid,nodev,noexec,relatime,xattr,release_agent=/usr/lib/systemd/systemd-cgroups-agent,name=systemd)
cgroup on /sys/fs/cgroup/cpu,cpuacct type cgroup (rw,nosuid,nodev,noexec,relatime,cpuacct,cpu)
cgroup on /sys/fs/cgroup/blkio type cgroup (rw,nosuid,nodev,noexec,relatime,blkio)
cgroup on /sys/fs/cgroup/hugetlb type cgroup (rw,nosuid,nodev,noexec,relatime,hugetlb)
cgroup on /sys/fs/cgroup/perf_event type cgroup (rw,nosuid,nodev,noexec,relatime,perf_event)
cgroup on /sys/fs/cgroup/pids type cgroup (rw,nosuid,nodev,noexec,relatime,pids)
cgroup on /sys/fs/cgroup/cpuset type cgroup (rw,nosuid,nodev,noexec,relatime,cpuset)
cgroup on /sys/fs/cgroup/net_cls,net_prio type cgroup (rw,nosuid,nodev,noexec,relatime,net_prio,net_cls)
cgroup on /sys/fs/cgroup/memory type cgroup (rw,nosuid,nodev,noexec,relatime,memory)
cgroup on /sys/fs/cgroup/freezer type cgroup (rw,nosuid,nodev,noexec,relatime,freezer)
cgroup on /sys/fs/cgroup/devices type cgroup (rw,nosuid,nodev,noexec,relatime,devices)