深入解析Docker Cgroups：容器资源管理指南

Docker Cgroups资源管理详解

原创已于 2025-10-16 16:15:52 修改 · 769 阅读

26 ·

CC 4.0 BY-SA版权

文章标签：

#docker #容器 #运维

于 2025-10-12 10:41:43 首次发布

前言

在容器化技术盛行的今天，我们经常需要确保容器不会耗尽宿主机的资源，或者需要为不同优先级的应用分配不同的计算资源。这时候，Docker的另一个核心技术——Cgroups（控制组） 就发挥了至关重要的作用。

如果说Namespace为容器提供了"隔离视图"，那么Cgroups就是容器的"资源管家"。今天，让我们深入探索Cgroups如何精确控制和管理系统资源。

什么是Cgroups？

Cgroups（Control Groups） 是Linux内核的一项功能，用于限制、记录和隔离进程组所使用的物理资源。简单来说，它就像一个精细的资源分配器，确保每个进程组只能使用预设份额的CPU、内存、IO等资源。

Cgroups的核心功能

1. 资源限制

限制进程组可以使用的资源上限
防止单个容器耗尽系统资源

2. 优先级分配

通过权重分配CPU时间和IO带宽
确保关键服务获得更多资源

3. 资源统计

监控和记录资源使用情况
为计费和监控提供数据支持

4. 进程控制

挂起、恢复或终止进程组
实现资源的动态调整

Cgroups的子系统架构

Cgroups通过多个子系统（subsystem）来管理不同类型的资源：

1. CPU子系统（cpu,cpuacct）

功能：限制CPU使用率和统计CPU时间

核心文件：

cpu.shares：CPU权重（相对比例）
cpu.cfs_quota_us：CPU时间配额
cpu.cfs_period_us：CPU统计周期
cpuacct.usage：CPU使用时间统计

2. 内存子系统（memory）

功能：限制内存使用和统计内存消耗

核心文件：

memory.limit_in_bytes：内存使用上限
memory.usage_in_bytes：当前内存使用量
memory.stat：详细内存统计信息

3. 块设备IO子系统（blkio）

功能：控制块设备的IO访问

核心文件：

blkio.weight：IO权重（100-1000）
blkio.throttle.read_bps_device：读取速率限制
blkio.throttle.write_bps_device：写入速率限制

4. 设备控制子系统（devices）

功能：控制进程对设备的访问权限

5. 进程数子系统（pids）

功能：限制cgroup中的进程数量

Cgroups在Docker中的实际应用

1. 内存限制示例

# 运行一个容器，限制内存为512MB
$ docker run -d --name my-app --memory=512m nginx

# 查看容器的cgroup内存配置
$ cat /sys/fs/cgroup/memory/docker/<container_id>/memory.limit_in_bytes
536870912  # 512MB in bytes

# 查看当前内存使用量
$ cat /sys/fs/cgroup/memory/docker/<container_id>/memory.usage_in_bytes
12345678

2. CPU限制示例

# 限制CPU使用为1.5个核心
$ docker run -d --name cpu-demo --cpus=1.5 stress-ng --cpu 4

# 或者使用shares方式（相对权重）
$ docker run -d --name important-app --cpu-shares=512 nginx
$ docker run -d --name normal-app --cpu-shares=256 nginx

# 查看CPU配置
$ cat /sys/fs/cgroup/cpu/docker/<container_id>/cpu.cfs_quota_us
150000
$ cat /sys/fs/cgroup/cpu/docker/<container_id>/cpu.cfs_period_us
100000

3. 综合资源限制

# 完整的资源限制示例
$ docker run -d \
  --name resource-limited-app \
  --memory=1g \                 # 内存限制1GB
  --memory-swap=2g \            # 内存+交换分区2GB
  --cpus=2.0 \                  # 2个CPU核心
  --cpu-shares=1024 \           # CPU权重
  --blkio-weight=500 \          # 块IO权重
  --device-read-bps="/dev/sda:10mb" \  # 读取速率限制
  nginx

Cgroups的层次结构

Cgroups采用树形层次结构，类似于文件系统目录：

/sys/fs/cgroup/
├── cpu/
│   ├── docker/
│   │   └── <container_id>/
│   │       ├── cpu.shares
│   │       └── cpu.stat
├── memory/
│   ├── docker/
│   │   └── <container_id>/
│   │       ├── memory.limit_in_bytes
│   │       └── memory.usage_in_bytes
└── blkio/
    └── docker/
        └── <container_id>/
            ├── blkio.weight
            └── blkio.throttle.io_serviced

继承特性：子cgroup继承父cgroup的资源限制，并可以设置更严格的限制。

实际案例：资源限制的效果演示

让我们通过一个压力测试来观察Cgroups的实际效果：

# 创建两个容器，分配不同的CPU份额
$ docker run -d --name high-priority --cpu-shares=1024 stress-ng --cpu 4
$ docker run -d --name low-priority --cpu-shares=256 stress-ng --cpu 4

# 监控CPU使用情况
$ docker stats
CONTAINER   CPU %     MEM USAGE / LIMIT
high-priority   65%     100MiB / 1GiB
low-priority    16%     100MiB / 1GiB

可以看到，high-priority容器获得了大约4倍的CPU时间，这正是由cpu.shares的比例（1024:256 = 4:1）决定的。

Cgroups v1 vs Cgroups v2

Cgroups v1的挑战

多个独立的控制器，配置复杂
层次结构不够统一
某些功能实现不一致

Cgroups v2的改进

统一的层次结构
增强的资源保护机制
改进的内存管理
更好的容器运行时支持

检查系统使用的Cgroups版本：

$ mount | grep cgroup
cgroup2 on /sys/fs/cgroup type cgroup2 (rw,nosuid,nodev,noexec,relatime,nsdelegate,memory_recursiveprot)

Cgroups的监控和调试

1. 使用docker stats监控

$ docker stats --all --format "table {{.Name}}\t{{.CPUPerc}}\t{{.MemUsage}}"
NAME                CPU %     MEM USAGE / LIMIT
my-app              0.50%     50MiB / 512MiB

2. 直接查看cgroup文件

# 查看CPU统计
$ cat /sys/fs/cgroup/cpu/docker/<container_id>/cpu.stat

# 查看内存使用详情
$ cat /sys/fs/cgroup/memory/docker/<container_id>/memory.stat

# 查看IO统计
$ cat /sys/fs/cgroup/blkio/docker/<container_id>/blkio.throttle.io_serviced

3. 使用工具分析

# 使用systemd-cgtop查看cgroup资源使用
$ systemd-cgtop

# 使用cgget查询特定cgroup配置
$ cgget -g cpu:/docker/<container_id>

最佳实践和注意事项

1. 合理设置资源限制

# 生产环境推荐设置
$ docker run -d \
  --memory=1g \
  --memory-reservation=512m \  # 软限制
  --cpus=2 \
  --cpu-shares=1024 \
  my-app

2. 监控和告警

# 设置资源使用告警
$ docker run -d \
  --memory=1g \
  --memory-swap=1g \  # 禁用交换分区
  --restart=on-failure:5 \
  my-app

3. 避免的陷阱

不要设置过于严格的限制导致应用频繁OOM
考虑应用的实际资源需求模式
预留一定的资源缓冲空间

Cgroups与Namespace的协同工作

虽然Cgroups和Namespace解决不同的问题，但它们共同构建了完整的容器运行时环境：

Namespace：提供隔离的视图（"你能看到什么"）
Cgroups：提供资源的限制（"你能使用多少"）

这种组合确保了容器既相互隔离，又不会相互干扰资源使用。

总结

Cgroups作为Docker的三大核心技术之一，为容器提供了精细化的资源管理能力。通过理解Cgroups的工作原理和使用方法，我们能够：

确保系统稳定性：防止单个容器耗尽系统资源
实现资源公平分配：为不同优先级的应用分配适当的资源
提高资源利用率：通过限制和统计优化资源使用
满足SLA要求：为关键业务提供资源保障

掌握Cgroups不仅有助于更好地使用Docker，还能帮助我们在复杂的生产环境中进行有效的资源管理和故障排查。

延伸阅读：

Linux内核文档：Documentation/cgroup-v1/
Docker官方资源限制文档
systemd资源控制配置

在接下来的文章中，我们将探讨Docker的第三个核心技术——Union File System，敬请期待！