Linux-Cgroup V2 初体验

Docker底层原理:Cgroup V2的使用 若系统没有加载cgroup2文件系统,需要执行下面这条命令。 阅读详情
AI摘要

本文分享了Linux CgroupV2版本的基本使用方法,包括如何开启CgroupV2、创建和管理cgroup,并通过实例演示了如何限制CPU和内存资源。此外,还对比了CgroupV1与V2的主要差异。


本文主要记录 Linux Cgroup V2 版本基本使用操作,包括 cpu、memory 子系统演示。

1. 开启 Cgroup V2

版本检查

通过下面这条命令来查看当前系统使用的 Cgroups V1 还是 V2

stat -fc %T /sys/fs/cgroup/

如果输出是cgroup2fs 那就是 V2,就像这样

root@tezn:~# stat -fc %T /sys/fs/cgroup/
cgroup2fs

如果输出是tmpfs 那就是 V1,就像这样

[root@docker cgroup]# stat -fc %T /sys/fs/cgroup/
tmpfs

启用 cgroup v2

如果当前系统未启用 Cgroup V2,也可以通过修改内核 cmdline 引导参数在你的 Linux 发行版上手动启用 cgroup v2。

如果你的发行版使用 GRUB,则应在 /etc/default/grub 下的 GRUB_CMDLINE_LINUX 中添加 systemd.unified_cgroup_hierarchy=1, 然后执行 sudo update-grub。

具体如下:

1)编辑 grub 配置

vi /etc/default/grub

内容大概是这样的:

GRUB_DEFAULT=0
GRUB_TIMEOUT_STYLE=hidden
GRUB_TIMEOUT=0
GRUB_DISTRIBUTOR=`lsb_release -i -s 2> /dev/null || echo Debian`
GRUB_CMDLINE_LINUX_DEFAULT="quiet splash"
GRUB_CMDLINE_LINUX=""

对最后一行GRUB_CMDLINE_LINUX进行修改

GRUB_CMDLINE_LINUX="quiet splash systemd.unified_cgroup_hierarchy=1"

2)然后执行以下命令更新 GRUB 配置

sudo update-grub

3)最后查看一下启动参数,确认配置修改上了

cat /boot/grub/grub.cfg | grep "systemd.unified_cgroup_hierarchy=1"

4)然后就是重启

reboot

重启后查看,不出意外切换到 cgroups v2 了

root@cgroupv2:~# stat -fc %T /sys/fs/cgroup/
cgroup2fs

发行版推荐

不过,推荐的方法仍是使用一个默认已启用 cgroup v2 的发行版。

有关使用 cgroup v2 的 Linux 发行版的列表,

  • Container-Optimized OS(从 M97 开始)
  • Ubuntu(从 21.10 开始,推荐 22.04+)
  • Debian GNU/Linux(从 Debian 11 Bullseye 开始)
  • Fedora(从 31 开始)
  • Arch Linux(从 2021 年 4 月开始)
  • RHEL 和类似 RHEL 的发行版(从 9 开始)

2. 基本使用

cgroup v2 使用上和 v1 版本基本一致,v2 版本也是默认在/sys/fs/cgroup/目录。

root@mydocker:~# ls /sys/fs/cgroup/
cgroup.controllers      cgroup.subtree_control  init.scope       system.slice
cgroup.max.depth        cgroup.threads          io.cost.model    user.slice
cgroup.max.descendants  cpu.pressure            io.cost.qos
cgroup.procs            cpuset.cpus.effective   io.pressure
cgroup.stat             cpuset.mems.effective   memory.pressure
  • 创建 sub-cgroup: 只需要创建一个子目录
cd /sys/fs/cgroup
mkdir $CGROUP_NAME
  • 将进程移动到指定 cgroup:将 PID 写入到相应 cgroup 的 cgroup.procs 文件即可,就像这样:
echo 1001 > /sys/fs/cgroup/test/cgroup.procs
  • 删除 cgroup/sub-cgroup: 也是直接删除对应目录即可
    • 如果一个cgroup 已经没有任何children或活进程,那直接删除对应的文件夹就删除该cgroup了
    • 如果一个cgroup已经没有children,但是还有僵尸进程,也认为这个cgroup是空的,可以直接删除
rmdir /sys/fs/cgroup/test
  • 修改 cpu、memory 限制:往对应配置文件写入配置内容即可
    • cpu.max 用于配置 cpu 使用限制
    • memory.max 则用于配置 内存使用限制
    • …

创建 cgroup

接下来,以 cpu、memory 为例,简单演示一下 cgroup v2 版本使用

root@mydocker:~# cd /sys/fs/cgroup/
root@mydocker:/sys/fs/cgroup# mkdir test
root@mydocker:/sys/fs/cgroup# cd test
root@mydocker:/sys/fs/cgroup/test# ls
cgroup.controllers      cpu.uclamp.max         memory.current
cgroup.events           cpu.uclamp.min         memory.events
cgroup.freeze           cpu.weight             memory.events.local
cgroup.max.depth        cpu.weight.nice        memory.high
cgroup.max.descendants  cpuset.cpus            memory.low
cgroup.procs            cpuset.cpus.effective  memory.max
cgroup.stat             cpuset.cpus.partition  memory.min
cgroup.subtree_control  cpuset.mems            memory.oom.group
cgroup.threads          cpuset.mems.effective  memory.pressure
cgroup.type             io.max                 memory.stat
cpu.max                 io.pressure            pids.current
cpu.pressure            io.stat                pids.events
cpu.stat                io.weight              pids.max

CPU

启动一个死循环

root@mydocker:/sys/fs/cgroup/test# while : ; do : ; done &
[1] 90482

不出意外的话,应该占用了 100% cpu

PID USER      PR  NI    VIRT    RES    SHR S  %CPU  %MEM     TIME+ COMMAND    
90482 root      20   0   10160   1772      0 R  99.3   0.1   0:05.01 bash 

接下来使用 cgroup v2 限制该进程只能使用 20% cpu

1)修改配置

echo 2000 10000 > cpu.max

含义是在 10000 微秒的 CPU 时间周期内,有 2000 微秒是分配给本 cgroup 的,也就是本 cgroup 管理的进程在单核 CPU 上的使用率不会超过 20%。

2)将进程加入当前 cgroup

echo 90482 > cgroup.procs

再次查看

PID USER      PR  NI    VIRT    RES    SHR S  %CPU  %MEM     TIME+ COMMAND    
90482 root      20   0   10160   1772      0 R  20.2   0.1   2:07.78 bash 

可以看到,已经被限制到了 20%

Memory

接下来演示内存限制,使用以下代码来模拟内存消耗,

cat <<EOF > ~/mem-allocate.c
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <unistd.h>

#define MB (1024 * 1024)

int main(int argc, char *argv[])
{
    char *p;
    int i = 0;
    while(1) {
        p = (char *)malloc(MB);
        memset(p, 0, MB);
        printf("%dM memory allocated\n", ++i);
        sleep(1);
    }

    return 0;
}
EOF

编译

gcc ~/mem-allocate.c -o ~/mem-allocate

然后启动该文件

root@mydocker:/sys/fs/cgroup/test# ~/mem-allocate
1M memory allocated
2M memory allocated
3M memory allocated
4M memory allocated
5M memory allocated
6M memory allocated
7M memory allocated
8M memory allocated
9M memory allocated
10M memory allocated
11M memory allocated
12M memory allocated
^C

可以看到,每秒会消耗 1M 内存,若不停止会一直运行直到 OOM。

接下来使用 cgroup v2 限制最多消耗 10M 内存。

1)修改配置

单位为字节 10485760= 10 * 1024 * 1024

echo 10485760 > memory.max

也就是本 cgroup 管理的进程内存使用不会超过 10M

2)将进程加入当前 cgroup

#将当前bash加入到test中,这样这个bash创建的所有进程都会自动加入到test中
sh -c "echo $$ >> cgroup.procs"

再次查看

root@mydocker:/sys/fs/cgroup/test# ~/mem-allocate
1M memory allocated
2M memory allocated
3M memory allocated
4M memory allocated
5M memory allocated
6M memory allocated
7M memory allocated
8M memory allocated
9M memory allocated
Killed

可以看到,到 10M 时就因为达到内存上限而被 Kill 了。

删除 cgroup

演示完成,把 cgroup 删除。

首先把进程 kill 一下

root@mydocker:/sys/fs/cgroup# cat test/cgroup.procs 
90444
90630
root@mydocker:/sys/fs/cgroup# kill -9 90630
root@mydocker:/sys/fs/cgroup# kill -9 90444

然后删除目录

root@mydocker:/sys/fs/cgroup# rmdir test

这样 cgroup 就删除了。

3. v1 v2 对比

v1 的 cgroup 为每个控制器都使用独立的树(目录)

[root@docker cgroup]# ls /sys/fs/cgroup/
blkio  cpu  cpuacct  cpuacct,cpu  cpu,cpuacct  cpuset  devices  freezer  hugetlb  memory  net_cls  net_cls,net_prio  net_prio  perf_event  pids  rdma  systemd

每个目录就代表了一个 cgroup subsystem,比如要限制 cpu 则需要到 cpu 目录下创建子目录(树),限制 memory 则需要到 memory 目录下去创建子目录(树)。

比如 Docker 就会在 cpu、memory 等等目录下都创建一个名为 docker 的目录,在 docker 目录下在根据 containerID 创建子目录来实现资源限制。

各个 Subsystem 各自为政,看起来比混乱,难以管理

因此最终的结果就是:

  1. 用户空间最后管理着多个非常类似的 hierarchy,
  2. 在执行 hierarchy 管理操作时,每个 hierarchy 上都重复着相同的操作。

v2 中对 cgroups 的最大更改是将重点放在简化层次结构上

  • v1 为每个控制器使用独立的树(例如 /sys/fs/cgroup/cpu/GROUPNAME 和 /sys/fs/cgroup/memory/GROUPNAME)。
  • v2 将统一/sys/fs/cgroup/GROUPNAME中的树,如果进程 X 加入/sys/fs/cgroup/test,则启用 test 的每个控制器都将控制进程 X。

更多 v1 和 v2 差异见 v1 存在的问题及 v2 的设计考虑


**【从零开始写 Docker 系列】**持续更新中,搜索公众号【探索云原生】订阅,阅读更多文章。


4. 小结

本文主要分享了 Linux cgroup v2 版本的基本使用,以及 v1 和 v2 版本的差异。

更多 cgroup v2 信息推荐阅读:Control Group v2 及其译文 Control Group v2(cgroupv2 权威指南)(KernelDoc, 2021)

cgroup v2 使用示例 cgroup v2 在ubuntu下的使用示例 阅读详情

相关推荐

【容器底层技术】cgroup v2使用与测试

如果输出只有cgroup,说明内核还未挂载cgroup v2或者内核不支持cgroup v2出现了cgroup v2说明内核是支持的,可以继续接下来的操作对于使用 systemd 引导的系统,可以在引导文件的中添加如下一行,启用 v2 版本可以使用防止cgroup v1抢占所有controller,体验纯cgroup v2环境最后再进行重启,就可以使用cgroup v2了。

include的博客 7796

10.2 cgroup-v2原理介绍

cgroup v1的问题v1 多个 hierarchy 并没有太大的用处,因为控制器(controller)只能属于一个 hierarchyCgroups v2 的五点改进Cgroups v2 中所有的 controller 都会被挂载到一个 unified hierarchy 下,不在存在像 v1 中允许不同的 controller 挂载到不同的 hierarchy 的情况Proess 只能绑定到 cgroup 的根(“/“)目录和 cgroup 目录树中的叶子节点。

福大大架构师每日一题 1875

Linux Cgroup学习笔记

介绍了linux cgroup v1/v2 cpu/memory/io/pid等子系统接口文件的功能

weixin_73622063的博客 2234

k8s--架构基础--cgroup v2

cgroup v2是Linux cgroup API的下一个版本。cgroup v2提供了一个统一的控制系统,具有增强的资源管理能力。单一统一的层次结构设计更安全的子树委派给容器支持新特性,如Pressure Stall Information(压力停顿信息)提供跨多个资源的增强资源分配管理和隔离对不同类型的内存分配(网络内存、内核内存等)进行统一的记账记账非即时资源变化,例如页面缓存写回某些Kubernetes特性专门使用cgroup v2来增强资源管理和隔离。

IT艺术家-rookie的博客 3047

Linux cgroup v1 和v2区别,Doris 该使用哪个版本

Doris Workload Group 以 软限制为基础,通过资源竞争时的硬限制保障隔离性,兼顾了资源利用率和查询稳定性,与 YARN 弹性调度的设计理念相通,但实现细节更贴合 OLAP 场景的查询特性。

主要写大数据集群一线运维和学习工作经验 1623

Kernel中的cgroup2介绍

原文:日期:2015年10月作者:Tejun Heo(Linux内核维护者)文档说明本文档是cgroup v2的官方设计规范,完整描述其用户态可见的接口与行为,包括:•核心架构设计原则•所有控制器的具体行为规范•系统级约束与约定版本要求:所有后续修改必须同步更新本文档。v1文档位置:Documentation/admin-guide/cgroup-v1/index.rstTejun Heo 是 Linux 内核的重要维护者,尤其在控制组(cgroups)领域做出了重大贡献。

苏法迪的专栏 1430

Kubernetes集群架构-关于 cgroup v2

功能状态:Kubernetes v1.25 [stable]cgroup v2 是 LinuxcgroupAPI 的下一个版本。cgroup v2 提供了一个统一的控制系统,具有增强的资源管理功能。API 中单个统一的层次结构设计更安全的子树委派给容器更新的功能特性, 例如压力阻塞信息(Pressure Stall Information,PSI)跨多个资源的增强资源分配管理和隔离统一核算不同类型的内存分配(网络内存、内核内存等)考虑非即时资源变化,例如页面缓存回写。

qichengzong的博客 1730

云原生之深入解析如何在Kubernetes中快速启用Cgroup V2支持

Kubernetes 自 v1.25 起 cgroup2 特性正式 stable,cgroup2 相比 cgroup v1 有以下优势:API 中单个统一的层次结构设计;更安全的子树委派给容器;更新的功能特性, 例如压力阻塞信息(Pressure Stall Information,PSI);跨多个资源的增强资源分配管理和隔离;统一核算不同类型的内存分配(网络内存、内核内存等);考虑非即时资源变化,例如页面缓存回写。

╰つ栺尖篴夢ゞ 1361

CentOS Linux升级内核kernel方法及启用cgroup v2

本文详细介绍了CentOS 7.9系统内核升级的全过程。首先说明了升级背景,当默认3.10.0内核无法满足Kubernetes等需求时需升级至4.x以上版本。重点内容包括:强烈推荐先升级systemd至234版本以支持cgroupv2;通过rpm方式安装6.9.7新版内核;配置grub2设置默认启动内核;完整的内核版本验证流程。此外还提供了内核回退方法,以及从cgroupv1切换到v2的具体操作步骤,包括模式配置、文件修改和结果验证等。整个过程以root用户操作,确保系统兼容性和稳定性。

zyplanke的专栏 4161

Linux内存管理(101):cgroup v2 简介

术语:cgroup:control group 的缩写,永不大写(never capitalized);单数形式的 cgroup 用于指定整个特性,也用作等术语中的修饰符;复数形式的 cgroups 显式指多个独立的;cgroup 是一种机制,它将系统进程按照分层组织,并沿着这种分层以一个可控、可配置的方式来分配系统资源。

私房菜 1171

零成本实现飞牛 OS 内网穿透:CloudFlare 隧道搭建全攻略

一、引言:突破内网限制的最优解当你的内网环境中部署了飞牛 OS 系统(无论是老旧电脑还是 NAS 设备),想要实现公网访问时,传统方案往往面临两大痛点:公网 IP 申请困难且成本高DDNS 动态解析配置复杂专业内网穿透工具存在付费门槛今天为大家带来零成本解决方案:通过免费域名搭配 CloudFlare 隧道技术,无需公网 IP 即可轻松实现飞牛 OS 服务的公网访问。全程操作可视化,新手也能快速上手!二、前期准备:必备工具清单(1)域名准备。

Honmaple的博客 7498

cgroup v2介绍及测试

介绍 cgroup是Linux内核允许将流程组织为分层的功能,然后可以限制其使用各种类型资源的组 并进行监控。内核的cgroup接口通过伪文件系统,称为cgroupfs。分组在核心cgroup内核代码, 而资源跟踪和限制是在一组每个资源类型的子系统(内存,CPU,等等)。 术语 cgroup是绑定到一组的进程的集合。通过cgroup文件系统定义的限制或参数 子系统是一个内核组件,可修改cgroup...

yevvzi的博客 4935

Vivado 2018.3 SDK烧写bin文件避坑指南:如何解决QSPI模式下的常见错误

本文深入解析了在Vivado 2018.3 SDK中为Zynq FPGA烧写QSPI Flash时遇到的常见问题,特别是启动模式为QSPI时出现的警告与失败。文章从Zynq启动机制入手,提供了修改FSBL代码以强制使用JTAG模式、调整硬件配置等核心解决方案,并分享了实战案例与最佳实践,帮助开发者高效避坑,确保bin文件烧写成功。

arduino9maker的博客 390

容器原理之cgroup

cgroup(control group)是一个内核特性,用于限制、统计、隔离一组进程的资源(CPU、内存、磁盘、网络等),首字母不要大写。Google 工程师在 2006 年开始提出这个特性,最早叫“process containers”,为了避免造成歧义,在 2007 年改名为“control group”,在 2008 年 1 月发布的 Linux Kernel 2.6.24 合入主线分支。

qq_41497074的博客 1925

Qwen 三代进化全景对比:从 Qwen2.5 到 Qwen3 再到 Qwen3.5

本文对比了阿里巴巴通义千问三代大模型(Qwen2.5、Qwen3、Qwen3.5)的技术演进。18个月内,模型在架构、训练数据和能力上实现显著突破:从纯稠密结构(Qwen2.5)发展为混合注意力架构(Qwen3.5),支持语言从29种扩展至201种,并实现原生多模态融合。关键进展包括引入MoE架构、Gated DeltaNet混合注意力机制(计算效率提升10倍)、以及从独立模态到早期视觉语言联合训练的转变。模型阵容从7个通用尺寸发展为8+个混合架构,最大参数量达397B,上下文窗口扩展至256K(托管版1M

m0_47999117的博客 1万+

Trae CN 使用入门指南

【代码】Trae CN 使用入门指南。

weixin_42551921的博客 8776

Linux 内核 3.10 的 cgroup v2 支持情况分析

【代码】Linux 内核 3.10 的 cgroup v2 支持情况分析。

学亮编程手记 677

VS2022打包C#安装包(最新、最全)

VS2022打包C#安装包(最新、最全)

qq_37959253的博客 9914

麒麟 v10 cgroup v1 切换 cgroup v2

cgroup v2 对内核版本要求 >= kernel 4.5 cgroups v1:存在多个以 cgroup 开头的行,还有一行是tmpfs开头的行,类似如下。cgroups v2:只有一行输出 cgroup2开头,类似如下。cgroup v2 对内核版本要求 >= kernel 4.5。验证切换到cgrop v2。

OceanWaves1993的博客 1248

测试dali协议的软件,DALI2.0和DALI1.0完美兼容同一个模块,测试每项可过协议

DALI2.0和DALI1.0完美兼容同一个模块,测试每项可过协议深圳聚积智能 夏先生 13246760327 QQ 349098308■IEC62386-102(V2.0)通过测试内容IEC62386-102/2.1/Test preambleIEC62386-102/3.1/Polarity testIEC62386-102/3.2/Maximum and minimum system v...

weixin_35343788的博客 1352

Excel也能玩转K-means聚类?手把手教你用表格搞定用户分群(附完整公式)

本文详细介绍了如何在Excel中实现K-means聚类算法,无需编程即可完成用户分群。通过SUMIF、SQRT等基础函数,从数据预处理到最终分群全流程手把手教学,特别强调数据标准化和迭代优化的关键步骤,帮助运营团队低成本高效分析用户行为数据。

weixin_30555125的博客 181

Linux cgroup 技术

Linux cgroup(Control Groups)技术用于限制进程组的CPU、内存、I/O等资源使用,防止资源过度消耗导致系统崩溃。cgroup由子系统(如CPU、内存控制器)、层级结构和文件系统目录组成,支持v1和v2两个版本,其中v2简化了管理并增强资源隔离能力。通过创建控制组并配置对应文件(如cpu.max、memory.max),可动态限制进程资源。例如,限制CPU为0.5核心或内存为10MB时,超限进程会被终止。

程序员小潘 1386

【离线OCR】微信离线实现图片OCR文本和表格识别

基于微信本地OCR引擎(由最新版微信自动安装)。通过Python对其官方调用逻辑进行完整翻译和封装,使开发者可以用简单的API调用其强大的OCR功能。

专注于医院数据分析技术与系统开发的创作与分享。 2625

Linux资源隔离基础(一):cgroup

Linux内核负责系统中所有硬件的可靠交互。这不仅包括使操作系统理解硬件的必要代码,还涉及限制特定程序对系统资源的占用。内核必须将系统内存合理分配给各个应用程序,以确保计算机的正常运行。通常情况下,Linux系统可以让大多数应用程序无限制地运行,而不会出现问题,因为应用程序间能够良好地协同工作。但是,如果某个程序出现故障并开始占用所有可用内存,会发生什么呢?为应对此类情况,内核引入了OOM(Out Of Memory) Killer机制。

m0_50499434的博客 2902

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

Linux中通过cgroups限制进程的资源(cgroups v2)

Linux系统的cgroups(控制组)机制可以对进程组的CPU、内存等资源进行细粒度控制。本文介绍了在cgroups v2版本中限制进程资源的操作指南:1. 检查并启用cgroups v2支持;2. 通过cgroup.subtree_control文件启用CPU和内存控制器;3. 使用cpu.max文件设置CPU配额,memory.max文件设置内存上限;4. 将目标进程PID加入控制组;5. 提供监控方法和验证手段。操作需要root权限,并需注意系统兼容性和OOM处理机制。

cheagoun的博客 2083

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

上一篇: 基于 Cloudflare Workers 和 cloudflare-docker-proxy 搭建镜像加速服务
下一篇: 从零开始写 Docker(十九)---增加 cgroup v2 支持
探索云原生
博客等级 码龄9年 730粉丝 131原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值