Cilium 官方文档翻译（6） IPAM Cluster scope模式

最新推荐文章于 2025-06-17 09:33:53 发布
翻译 最新推荐文章于 2025-06-17 09:33:53 发布 · 863 阅读 · 2 ·
CC 4.0 BY-SA版权
原文链接：https://docs.cilium.io/en/stable/concepts/networking/ipam/cluster-pool/
文章标签：

#kubernetes #网络 #云原生

Cluster scope

cluster-scope模式是cilium默认的IPAM模式，它为每个node分配PodCIDRs，并为每个节点提供host-scope级的分配器。这与 Kubernetes Host Scope 模式非常像，不同之处在于cilium operator会通过v2.CiliumNode资源管理每个node的PodCIDRs，而Kubernetes Host Scope 模式是通过kubernetes的v1.Node来为每个node分配PodCIDRs。

架构

image

kubernetes无法通过简单配置为node分配PodCIDRs场景下，Cluster scope会非常有用。

这种模式下，cliium agent会等待 v2.CiliumNode的ip地址族资源字段可用后再启动。

字段描述
Spec.IPAM.PodCIDRsIPv4 and/or IPv6 PodCIDR range

使用cluster-pool IPAM作为CRD-backend的后端

启用 cluster-pool IPAM 模式

  1. 通过helm安装cilium设置--set ipam.mode=cluster-pool选项。

  2. 根据使用IPv4/IPv6需求选定并按需调整集群级pod的CIDR：

  3. --set ipam.operator.clusterPoolIPv4PodCIDRList=<IPv4CIDR>

  4. --set ipam.operator.clusterPoolIPv6PodCIDRList=<IPv6CIDR>

  5. 使用以下选项调整要分配给每个节点的CIDR大小

  6. --set ipam.operator.clusterPoolIPv4MaskSize=<IPv4MaskSize>

  7. --set ipam.operator.clusterPoolIPv6MaskSize=<IPv6MaskSize>

  8. 部署cilium和cilium-operator，cilium 会自动等待operator把每个节点的PodCIDR分配完成

验证安装

  1. 验证cilium正确启动
$ cilium status --all-addresses
KVStore:                Ok   etcd: 1/1 connected, has-quorum=true: https://192.168.60.11:2379 - 3.3.12 (Leader)
[...]
IPAM:                   IPv4: 2/256 allocated,
Allocated addresses:
  10.0.0.1 (router)
  10.0.0.3 (health)
  1. 验证spec.ipam.podCIDRs部分
$ kubectl get cn k8s1 -o yaml
apiVersion: cilium.io/v2
kind: CiliumNode
metadata:
  name: k8s1
  [...]
spec:
  ipam:
    podCIDRs:
      - 10.0.0.0/24

故障排查

查找ip分配错误

检查 Status.Operator.Error字段:

kubectl get ciliumnodes -o jsonpath='{range .items[*]}{.metadata.name}{"\t"}{.status.operator.error}{"\n"}{end}'

检查node CIDRs冲突

pod 默认的CIDR是10.0.0.0/8。如果node的网路与该网段范围冲突的话可能出现pod无法与其它node通信的问题：所有发出的数据包会认为目标是拥有目标地址所在包含CIDR的所在节点上的pod，而非其它的node。

下面两种方法可以解决该问题：

  • 显式地将clusterPoolIPv4PodCIDRList设置为非冲突的CIDR
  • node节点使用不同的CIDR

Cluster Pool v2(Beta版本)

Cluster Pool V2扩展了上述机制，允许将额外的PodCIDRs动态的分配给每个节点。每个cilium agent会通过v2.CiliumNode对象报告已分配的PodCIDRs的利用率。

如果一个节点可用pod ip资源不足，operator会为该节点分配额外的PodCIDR。与之对应如果一个节点有未使用的PodCIDRs，operator 最终会释放空闲PodCIDRs并重新分配给其它节点。

v2.CIiliumNode新增扩展了的PodCIDRs字段。

字段描述
Spec.IPAM.PodCIDRsList of assigned IPv4 and/or IPv6 PodCIDRs
Status.IPAM.PodCIDRsPodCIDR utilization (one of: in-use, depleted, or released)

当一个node的所有PodCIDR都处于 depleted 或 released状态时，operator会为node分配一个新的 PodCIDR。

限制

Cluster Pool V2 是一个预览版本的特性，以下限制适用于在cluster-pool-v2beta模式下运行cilium。

  • Cluster Pool V2 只支持本地路由模式，不支持隧道模式的网络。
  • 不支持使用IPSec进行透明加密。
  • 更多限制详见 GitHub issue 18987。

配置

在helm选项中设置 --set ipam.mode=cluster-pool-v2beta即可启用 Cluster Pool V2。Cluster Pool V2的CIDR池配置与常规集群相同。请参考 [使用cluster-pool IPAM作为CRD-backend的后端](#使用cluster-pool IPAM作为CRD-backend的后端)

通过下面的字段可以配置每个节点的PodCIDR触发重新分配和释放的阈值：

  • Spec.IPAM.PodCIDRAllocationThreshold：

  • 定义每个节点PodCIDR池中最小可用的空闲IP数。

  • 如果PodCIDR池中的IP地址总数小于此值，则此节点当前使用的PodCIDRs将被标记为耗尽，cilium operator将为此节点分配新的PodCIDR。

  • 该值有效的定义了在无需cilium operator参与时可用IP地址的缓冲区。

  • 默认值为8

  • Spec.IPAM.PodCIDRReleaseThreshold：

  • 定义节点PodCIDR池最大空闲IP数。

  • 当PodCIDR的可用空闲IP总数大于该值，cilium agent会尝试释放当前未使用的PodCIDR。

  • 默认值是16。

参考文档

  1. 原文 https://docs.cilium.io/en/stable/concepts/networking/ipam/cluster-pool/
  2. https://docs.cilium.io/en/stable/gettingstarted/ipam-cluster-pool/#gsg-ipam-crd-cluster-pool
Cilium + ebpf 系列文章- （五）Cilium 混合模式替换 Calico,以及安装Cilium过程(思路清晰版)
博然的宝藏库
09-26 2229
Calico替换为Cilium 有两个做法，一种鲁莽版，一种思路清晰版。今天这遍文章是官方最佳实践版本。
cilium ipam机制源码分析
fengcai_ke的博客
04-16 842
cilium作为k8s cni插件，提供了ipam的机制，可用来给pod分配ip地址，具体配置可参考，其中Kubernetes Host Scope表示每个node的cidr由k8s来分配，node上每个pod的ip由cilium-agent来分配；Cluster Scope为默认的ipam方式，每个node的cidr由cilium-operator来分配，并更新到ciliumnode crd中，node上每个pod的ip仍然由cilium-agent来分配，其他几种模式为云厂商提供的。
cilium安装下封闭NodePort映射端口
m0_37642477的博客
09-27 458
cilium安装下封闭NodePort映射端口
Cilium 官方文档翻译（9） 替换kube-proxy
煮酒论架构
11-21 2014
本指南解释了如何在没有kube-proxy的情况下配置Kubernetes集群，以及如何使用Cilium完全替换它。cilium 使用 eBPF 实现了内核态高性能的负载均衡，并通过BPF Maps开放控制面的服务发现
Cilium 官方文档翻译(1)什么是cilium
煮酒论架构
11-20 485
Cilium 官方文档翻译第一篇
cilium 官方文档翻译(2) 组件概述
煮酒论架构
11-20 536
cilium 核心组件说明
Cilium 官方文档翻译（7） IPAM Kubernetes Host模式
煮酒论架构
11-20 468
cilium IPAM的kubernetes host-scope模式通过选项开启，将集群IP地址分配委托给每个独立的节点，并在每个kubernetes node的podCIDR范围内分配IP地址。这种模式下，cilium agent会等待kubernetes的v1.Node对象通过以下任意一种办法告知podCIDR。
《Cilium 中文指南》发布
ServiceMesher
06-21 354
最近开始对 eBPF 技术和 Cilium 开源项目颇为感兴趣，也翻译了一本 eBPF 相关的资料《什么是 eBPF》， 以及撰写了请暂时抛弃使用 eBPF 取代服务网格和 sidecar 模式的幻想的文章，想要再深入了解一下 Cilium 和 eBPF 这样的技术就服务网格领域究竟能发挥什么样的作用，那么就先从 Cilium 开始吧！阅读地址：https://lib...
Cilium创建pod network源码解析
HULK一线技术杂谈
12-09 1116
01Overview我们生产K8s使用容器网络插件 Cilium 来创建 Pod network，下发 eBPF 程序实现 service 负载均衡来替换 kube-proxy，并且使用 ...
虚拟网络之Kubernetes Cilium CNI 网络通信调测
海渊_haiyuan的博客
12-20 1802
文章目录虚拟网络之Kubernetes Cilium CNI 网络通信调测前言Cilium CNI 配置查看同Node pod 通信：跨node pod 访问：Cilium cli参考： 虚拟网络之Kubernetes Cilium CNI 网络通信调测 前言 Cilium CNI 是基于Linux 新版本内核中的eBPF实现的，对应数据面转发逻辑和Flannel CNI 比较有了不小的变化，从实现机制上来说，性能上是有很大的提升的；本篇就是将我在环境上实操验证进行一个简单的记录；关于Cilium CNI
Cilium动手实验室: 精通之旅---30.Isovalent Enterprise for Cilium: Cilium Multi-Networking
Q先生
06-17 605
LAB环境地址。
Cilium动手实验室: 精通之旅---11.Advanced BGP Features - Lab
Q先生
06-07 771
在您最近对 BGP 计时器进行修改后，您的集群现在向路由器发送了过多的 BGP 请求，从而威胁到网络的稳定性。首先，让我们在节点的 Cilium Agent pod 中安装 Wireshark 和 Termshark，以便我们可以检查 BGP 数据包（我们不建议您在生产中执行此作！首先，让我们回到我们的 Cilium 代理来监控流量。请注意，Cilium 上的 BGP 配置是基于标签的 - 只有具有匹配标签的 Cilium 托管节点才会部署虚拟路由器用于 BGP 对等连接。
Cilium动手实验室: 精通之旅---17.Cilium IPAM
Q先生
06-10 976
LAB访问地址我们将使用 Kind 来设置我们的 Kubernetes 集群，并在该 Cilium 之上。该集群包含 3 个节点，包括 1 个 control plane 和 2 个 worker。由于 Cilium 和其他 CNI 都尚未安装，因此它们都处于NotReady状态。Cilium 实现了 CNI 规范，为 Kubernetes 提供网络。在 Kubernetes 中添加新的 Pod 时，首先通过 Kubernetes Scheduler 将其分配给节点。
cilium系列之一:安装并配置cilium
热门推荐
李炜伦的博客
09-16 1万+
cilium可以在内核转发和过滤数据包，可以解决现有的kube-proxy性能问题，这是有关介绍链接http://dockone.io/m/article/10046 现在主要的问题不仅在于网络是underlay还是overlay，也在于networkpolicy。
Cilium 官方文档翻译（8） IPAM CRD backed模式
煮酒论架构
11-20 517
CilumNode自定义资源以标准Kubernetes资源为模型，并分为spec和status。各个云厂商利用这个对象完成了Cilium和云厂商API之间的对接
cilium路由模式和aws-eni模式下的IPAM
zhaojiew的学习笔记
05-09 2501
来看Cilium路由的几种核心模式。
cilium系列之四：使用阿里云vpc作为ipam
李炜伦的博客
07-02 742
昨天试了一下cilium使用阿里云的vpc网络作为ipam，但是估计beta版ipam资源还没zhub
cilium初探（一）
long75719507的专栏
12-04 7199
一、什么是cilium cilium是一个具备API感知的网络和安全的开源软件，用于透明保护使用Docker和Kubernetes等Linux容器管理平台部署的应用程序服务之间的网络连接。Cilium的基础是一种称为BPF的新Linux内核技术，该技术可在Linux自身内部动态插入强大的安全可见性和控制逻辑。由于BPF在Linux内核中运行，因此可以应用和更新Cilium安全策略，而无需...
如何快速让 Cilium 和 BGP 协同工作
easylife206的专栏
08-04 647
公众号关注「奇妙的 Linux 世界」设为「星标」，每天带你玩转 Linux ！背景官方提供了多篇文档说明如何配置 Cilium 和 BGP 协同工作，本文主要对以下部分功能进行验证：Using BIRD to run BGP[1]Using kube-router to run BGP[2]BGP[3]Cilium BGP Control Plane[4]为了模拟支持 BGP 的网络环境，文中...
cilium官方测试套
最新发布
08-29
虽然没有直接关于 Cilium 官方测试套详细介绍的引用内容，但结合 Cilium 的架构和功能特点可以推测其官方测试套可能包含的方面。 Cilium 位于容器编排系统和 Linux Kernel 之间，主要组件有 Cilium Agent、Cilium Operator 和 Cilium CLI，其功能涉及网络配置和安全策略执行等，因此官方测试套可能包含以下类型的测试： #### 功能测试 - **网络功能测试**：验证 Cilium 为容器进行网络配置的能力，例如检查是否能正确分配 IP 地址、实现网络连通性等。就像在 Cilium 架构中，Cilium Agent 通过插件与容器运行时和编排系统交互，为容器进行网络配置，测试套会对这一过程进行验证。 - **安全策略测试**：测试 Cilium 执行安全策略的准确性，如 CIDR 策略是否能正确限制对外部服务的访问等。CIDR 策略用于定义往返于不受 Cilium 管理的 endpoints 的策略，测试套会确保这些策略按预期生效[^4]。 #### 性能测试 - **网络性能测试**：测量 Cilium 在不同网络场景下的性能指标，如网络吞吐量、延迟等。通过模拟不同的网络流量，评估 Cilium 对网络性能的影响。 - **资源占用测试**：监控 Cilium 运行过程中对系统资源的占用情况，包括 CPU、内存等，确保其不会过度消耗资源影响集群的正常运行。 #### 兼容性测试 - **与 Kubernetes 兼容性测试**：验证 Cilium 与不同版本的 Kubernetes 的兼容性，确保在各种 Kubernetes 环境下都能正常工作。 - **与其他组件兼容性测试**：测试 Cilium 与容器运行时、其他网络插件等组件的兼容性。 #### 稳定性测试 - **长时间运行测试**：让 Cilium 在集群中长时间运行，观察是否会出现崩溃、异常等情况，确保其稳定性。 - **压力测试**：在高负载情况下测试 Cilium 的性能和稳定性，模拟大量的容器创建、销毁和网络流量。 ### 示例代码 以下是一个简单的 Python 脚本示例，用于模拟测试 Cilium 的网络连通性： ```python import subprocess def test_network_connectivity(pod_ip): try: result = subprocess.run(['ping', '-c', '3', pod_ip], capture_output=True, text=True) if result.returncode == 0: print(f"Network connectivity to {pod_ip} is successful.") else: print(f"Network connectivity to {pod_ip} failed.") print(result.stderr) except Exception as e: print(f"An error occurred: {e}") # 替换为实际的 Pod IP 地址 pod_ip = "10.42.0.79" test_network_connectivity(pod_ip) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值