Cgroups控制cpu,内存,io示例

Cgroups是control groups的缩写,最初由Google工程师提出,后来编进linux内核。

Cgroups是实现IaaS虚拟化(kvm、lxc等),PaaS容器沙箱(Docker等)的资源管理控制部分的底层基础。

 

百度私有PaaS云就是使用轻量的cgoups做的应用之间的隔离,以下是关于百度架构师许立强,对于虚拟机VM,应用沙盒,cgroups技术选型的理解

 

 

本文用脚本运行示例进程,来验证Cgroups关于cpu、内存、io这三部分的隔离效果。

测试机器:CentOS release 6.4 (Final)

启动Cgroups

service cgconfig start   #开启cgroups服务
chkconfig cgconfig on   #开启启动

在/cgroup,有如下文件夹,默认是多挂载点的形式,即各个子系统的配置在不同的子文件夹下

[root@localhost /]# ls /cgroup/
blkio  cpu  cpuacct  cpuset  devices  freezer  memory  net_cls

 

cgroups管理进程cpu资源

跑一个耗cpu的脚本

x=0
while [ True ];do
    x=$x+1
done;

top可以看到这个脚本基本占了100%的cpu资源

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND          
30142
root 20 0 104m 2520 1024 R 99.7 0.1 14:38.97 sh

下面用cgroups控制这个进程的cpu资源

mkdir -p /cgroup/cpu/foo/   #新建一个控制组foo
echo 50000 > /cgroup/cpu/foo/cpu.cfs_quota_us  #将cpu.cfs_quota_us设为50000,相对于cpu.cfs_period_us的100000是50%
echo 30142 > /cgroup/cpu/foo/tasks

然后top的实时统计数据如下,cpu占用率将近50%,看来cgroups关于cpu的控制起了效果

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                                                                         30142 root      20   0  105m 2884 1024 R 49.4  0.2  23:32.53 sh 

cpu控制组foo下面还有其他的控制,还可以做更多其他的关于cpu的控制

[root@localhost ~]# ls /cgroup/cpu/foo/
cgroup.event_control  cgroup.procs  cpu.cfs_period_us  cpu.cfs_quota_us  cpu.rt_period_us  cpu.rt_runtime_us  cpu.shares  cpu.stat  notify_on_release  tasks

 

 

cgroups管理进程内存资源

跑一个耗内存的脚本,内存不断增长

x="a"
while [ True ];do
    x=$x$x
done;

top看内存占用稳步上升

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                                                                         30215 root      20   0  871m 501m 1036 R 99.8 26.7   0:38.69 sh  
30215 root      20   0 1639m 721m 1036 R 98.7 38.4   1:03.99 sh 
30215 root      20   0 1639m 929m 1036 R 98.6 49.5   1:13.73 sh

下面用cgroups控制这个进程的内存资源

mkdir -p /cgroup/memory/foo
echo 1048576 >  /cgroup/memory/foo/memory.limit_in_bytes   #分配1MB的内存给这个控制组
echo 30215 > /cgroup/memory/foo/tasks  

发现之前的脚本被kill掉

[root@localhost ~]# sh /home/test.sh 
已杀死

因为这是强硬的限制内存,当进程试图占用的内存超过了cgroups的限制,会触发out of memory,导致进程被kill掉。

实际情况中对进程的内存使用会有一个预估,然后会给这个进程的限制超配50%比如,除非发生内存泄露等异常情况,才会因为cgroups的限制被kill掉。

也可以通过配置关掉cgroups oom kill进程,通过memory.oom_control来实现(oom_kill_disable 1),但是尽管进程不会被直接杀死,但进程也进入了休眠状态,无法继续执行,仍让无法服务。

关于内存的控制,还有以下配置文件,关于虚拟内存的控制,以及权值比重式的内存控制等

复制代码
[root@localhost /]# ls /cgroup/memory/foo/
cgroup.event_control  memory.force_empty         memory.memsw.failcnt             
memory.memsw.usage_in_bytes memory.soft_limit_in_bytes memory.usage_in_bytes tasks cgroup.procs memory.limit_in_bytes memory.memsw.limit_in_bytes
memory.move_charge_at_immigrate memory.
stat memory.use_hierarchy memory.failcnt memory.max_usage_in_bytes memory.memsw.max_usage_in_bytes
memory.oom_control memory.swappiness notify_on_release
复制代码

 

 

cgroups管理进程io资源

跑一个耗io的脚本

 dd if=/dev/sda of=/dev/null &

通过iotop看io占用情况,磁盘速度到了284M/s

30252 be/4 root      284.71 M/s    0.00 B/s  0.00 %  0.00 % dd if=/dev/sda of=/dev/null  

下面用cgroups控制这个进程的io资源

mkdir -p /cgroup/blkio/foo

echo '8:0   1048576' >  /cgroup/blkio/foo/blkio.throttle.read_bps_device
#8:0对应主设备号和副设备号,可以通过ls -l /dev/sda查看
echo 30252 > /cgroup/blkio/foo/tasks

再通过iotop看,确实将读速度降到了1M/s

30252 be/4 root      993.36 K/s    0.00 B/s  0.00 %  0.00 % dd if=/dev/sda of=/dev/null  

对于io还有很多其他可以控制层面和方式,如下

复制代码
[root@localhost ~]# ls /cgroup/blkio/foo/
blkio.io_merged         blkio.io_serviced      blkio.reset_stats                
blkio.throttle.io_serviced blkio.throttle.write_bps_device blkio.weight cgroup.procs blkio.io_queued blkio.io_service_time blkio.sectors
blkio.throttle.read_bps_device blkio.throttle.write_iops_device blkio.weight_device notify_on_release blkio.io_service_bytes blkio.io_wait_time blkio.throttle.io_service_bytes
blkio.throttle.read_iops_device blkio.
time cgroup.event_control tasks
复制代码

 

参考博文:

Cgroup与LXC简介

用cgroups管理cpu资源

百度社区私有云经验分享


from: http://www.cnblogs.com/yanghuahui/p/3751826.html

<think>好的,我现在需要向用户介绍Cgroup是什么。首先,用户之前问过关于memory.zram_wm_ratio的问题,现在转而询问Cgroup,可能是想更深入理解之前的回答中的概念。我需要确保解释清晰,结构合理,符合用户之前提到的系统级指令,比如使用中文、正确使用LaTeX格式,并且分点说明。 首先,我应该从Cgroup的基本定义开始,说明它是Linux内核的功能,用于资源管理。然后分点介绍它的核心作用,比如资源限制、优先级分配、资源统计和进程控制。接下来,可能需要解释它的架构,包括层级结构、子系统(资源类型)和控制组,这样用户能理解其组织方式。 用户可能对Cgroup的应用场景感兴趣,比如服务器资源隔离、容器技术(Docker/Kubernetes)、混合工作负载管理,这些都需要具体例子来说明。然后,需要提到常用的子系统,如CPU内存IO、设备等,每个子系统的作用简要说明。 版本演变部分也很重要,用户可能不知道Cgroup v1和v2的区别,需要简要对比,避免混淆。操作示例部分可以通过命令展示如何创建和配置Cgroup,增强实用性。最后,结合容器技术的例子,说明Cgroup在实际中的应用,比如Docker如何利用它进行资源限制。 需要注意使用正确的术语,避免技术错误,同时保持口语化,让用户容易理解。需要检查是否所有行内术语如Cgroup、子系统等都用$...$格式,独立公式是否用$$...$$,虽然这次可能公式较少,但要确保LaTeX正确。结构上要分点清晰,逐步深入,帮助用户逐步建立对Cgroup的理解。</think>--- ### **Cgroup(Control Group)** 是 Linux 内核提供的一种机制,用于对进程(或进程组)的**资源分配**进行精细化管理和限制。 它的核心目标是:**隔离、限制、统计系统资源(如 CPU内存、磁盘 I/O、网络等)的使用**,避免单个进程或用户过度占用资源,从而提升系统的稳定性和公平性。 --- ### **1. 核心功能** #### **1.1 资源限制** - 通过设定阈值,限制进程组对资源的**最大使用量**。 例如: - 限制某容器最多使用 `2 核 CPU` 和 `4GB 内存`。 - 限制后台任务的总磁盘写入速度不超过 `10MB/s`。 #### **1.2 优先级分配** - 为不同进程组分配资源的**使用权重**,确保关键任务优先获得资源。 例如: - 数据库服务权重设为 `500`,批处理脚本权重设为 `100`,保证数据库优先使用 CPU。 #### **1.3 资源统计** - 实时监控进程组的资源消耗(如 CPU 时间、内存占用、网络流量等),为计费或调优提供数据。 #### **1.4 进程控制** - 对进程组执行统一操作,例如:冻结(freeze)、重启(restart)、迁移(migrate)。 --- ### **2. Cgroup 的架构** #### **2.1 层级结构(Hierarchy)** - Cgroup 按树形层级组织,子节点继承父节点的资源限制,并可添加自己的规则。 $$ \text{Root Cgroup} \rightarrow \text{Subgroup A} \rightarrow \text{Subgroup A1} $$ - **特点**: - 每个层级可绑定一类或多类资源(称为 **Subsystem**,如 `cpu`, `memory`)。 - 一个子系统只能附加到一个层级。 #### **2.2 子系统(Subsystem)** - 子系统代表一类可管理的资源类型,常见子系统包括: | 子系统 | 功能 | |--------------|----------------------------------------------------------------------| | `cpu` | 限制 CPU 使用份额和时间片分配 | | `memory` | 控制内存用量(包括物理内存、Swap、内核内存等) | | `io` | 限制块设备的 I/O 带宽 | | `devices` | 控制进程对设备的访问权限(如允许/禁止读写特定设备) | | `cpuset` | 绑定进程到指定 CPU 核或内存节点 | | `pids` | 限制进程组内的进程数量 | #### **2.3 控制组(Control Group)** - 层级中的每个节点称为一个控制组,包含一组进程及其资源限制规则。 例如: - 创建控制组 `/sys/fs/cgroup/cpu/group1`,限制其 CPU 使用率为 `50%`。 --- ### **3. 应用场景** #### **3.1 服务器资源隔离** - 在共享服务器中,为不同用户/服务分配独立的资源配额,防止互相干扰。 **例如**:限制用户 A 的进程最多使用 `30% CPU`,用户 B 的进程最多使用 `1GB 内存`。 #### **3.2 容器技术的基础** - Docker、Kubernetes 等容器平台依赖 Cgroup 实现容器的**资源隔离**。 **例如**:每个 Docker 容器对应一个 Cgroup,限制其 CPU内存、磁盘 I/O 等。 #### **3.3 混合工作负载管理** - 在同时运行实时任务和批处理任务的系统中,通过优先级分配保障实时任务性能。 --- ### **4. Cgroup 的操作示例** #### **4.1 查看子系统挂载情况** ```bash $ mount | grep cgroup # 输出示例cgroup on /sys/fs/cgroup/memory type cgroup (rw,memory) ``` #### **4.2 创建控制组并设置限制** ```bash # 创建 CPU 限制组 $ sudo mkdir /sys/fs/cgroup/cpu/group1 # 设置 CPU 配额为 50%(周期 100ms,最多使用 50ms) $ echo 50000 > /sys/fs/cgroup/cpu/group1/cpu.cfs_quota_us $ echo 100000 > /sys/fs/cgroup/cpu/group1/cpu.cfs_period_us # 将进程 PID 1234 加入该控制组 $ echo 1234 > /sys/fs/cgroup/cpu/group1/tasks ``` --- ### **5. Cgroup 的版本演进** #### **5.1 Cgroup v1** - **特点**: - 子系统独立管理,配置分散。 - 功能碎片化,不同子系统行为不一致。 - **问题**: - 复杂场景下易出现规则冲突(如多个层级限制同一资源)。 #### **5.2 Cgroup v2** - **改进**: - 统一层级结构,所有子系统挂载到单一层级。 - 增强资源分配的**一致性**和**可预测性**。 - 支持跨资源类型的联合限制(如“CPU + 内存”联合配额)。 - **现状**: - 主流 Linux 发行版(如 Ubuntu 22.04+、RHEL 9+)已默认启用 Cgroup v2。 --- ### **6. 与容器技术的结合** - **Docker 示例**: 启动容器时通过 `--cpus`、`--memory` 等参数直接设置 Cgroup 限制: ```bash $ docker run -it --cpus=1.5 --memory=2g alpine ``` 此命令会创建一个 Cgroup,限制容器最多使用 `1.5 核 CPU` 和 `2GB 内存`。 --- ### **总结** - **Cgroup 的本质**:Linux 内核级的资源隔离与管理工具。 - **核心价值**:通过细粒度资源控制,提升系统稳定性、公平性和资源利用率。 - **适用领域**:从嵌入式设备到云计算平台,凡是需要多任务资源隔离的场景均依赖 Cgroup
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值