Kubeadm 安装 Kubernetes 1.18 和 1.24 版本细节研究：Cilium 网络组件配置

原创已于 2025-08-20 11:18:43 修改 · 1.1k 阅读

20 ·

CC 4.0 BY-SA版权

文章标签：

#kubernetes #网络 #容器

于 2025-08-20 11:15:10 首次发布

K8s 专栏收录该内容

508 篇文章

订阅专栏

目录标题

Kubeadm安装Kubernetes 1.18和1.24版本细节研究：Cilium网络组件配置

Kubeadm安装Kubernetes 1.18和1.24版本细节研究：Cilium网络组件配置

一、Kubernetes版本概述与选择考量

1.1 Kubernetes 1.18与1.24版本差异概览

Kubernetes 1.18和1.24是两个重要的版本，代表了不同的技术发展阶段。了解它们的核心差异对选择合适的版本至关重要：

功能演进：

Kubernetes 1.18于2020年3月发布，是长期支持(LTS)版本，引入了CSI驱动程序规范v1、Pod拓扑分布约束等新功能
Kubernetes 1.24于2022年5月发布，是另一个LTS版本，移除了dockershim组件，标志着向containerd等CRI兼容运行时的全面过渡

关键变化：

容器运行时：1.18默认支持Docker(通过dockershim)，而1.24完全移除了dockershim支持，必须使用containerd或CRI-O等符合CRI标准的运行时
API版本：1.24引入了许多API的v1版本，如storage.k8s.io/v1、apps/v1等，而1.18使用的是较早的API版本
默认配置：1.24在默认配置上进行了多项优化，包括更安全的默认设置和性能改进

对Cilium的影响：

Cilium在不同版本上的支持情况有所不同，需要根据Kubernetes版本选择合适的Cilium版本
Cilium对1.18的支持可能需要特定配置，而对1.24则提供了更完善的集成和功能

1.2 Cilium网络组件特性与优势

Cilium作为Kubernetes的高性能网络和安全解决方案，提供了多项关键特性：

核心功能：

基于eBPF技术的高性能网络数据平面
全面的网络策略实施能力，支持L3-L7流量控制
服务网格集成，提供端到端的安全通信
无需kube-proxy的服务发现和负载均衡替代方案
网络可见性和监控，通过Hubble提供流量分析

优势对比：

特性	Cilium	传统CNI插件(如Calico、Flannel)
性能	极高，基于eBPF优化	中等，基于iptables/ipvs
安全	支持L3-L7策略，基于身份的安全模型	主要支持L3-L4策略
服务发现	可替代kube-proxy，支持IPVS和Socket LB	依赖kube-proxy
可观测性	内置Hubble监控和可视化	需要额外组件
扩展性	支持大规模集群和复杂网络拓扑	扩展性有限

版本兼容性：

Cilium对Kubernetes版本有明确的支持矩阵，需要根据目标Kubernetes版本选择合适的Cilium版本
Cilium 1.12及以上版本支持Kubernetes 1.24，而Cilium 1.10及以上版本支持Kubernetes 1.18

二、环境准备与安装前配置

2.1 系统要求与环境准备

无论安装Kubernetes 1.18还是1.24，基础环境准备工作有很多共同点：

硬件要求：

每个节点至少2GB内存和2个CPU核心
推荐使用SSD存储，确保足够的I/O性能
节点间必须具备全网络连通性

软件要求：

支持的Linux发行版：Ubuntu 20.04+/22.04+、CentOS 7+/8+、Debian 11+等
必要工具：curl、wget、tar、git等基础工具包

系统参数调整：

# 启用br_netfilter模块
sudo modprobe br_netfilter

# 设置必要的sysctl参数
cat <<EOF | sudo tee /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-iptables = 1
net.bridge.bridge-nf-call-ip6tables = 1
net.ipv4.ip_forward = 1
EOF

# 应用sysctl参数
sudo sysctl --system

防火墙配置：

确保以下端口开放：

端口	协议	方向	描述
6443	TCP	入站	Kubernetes API Server
2379-2380	TCP	入站	etcd客户端API(如使用内置etcd)
10250	TCP	双向	Kubelet API
10251	TCP	入站	Kube-Scheduler
10252	TCP	入站	Kube-Controller-Manager
30000-32767	TCP	双向	NodePort服务默认端口范围

时间同步：

所有节点必须保持精确的时间同步，推荐使用NTP服务：
```
sudo apt-get install -y ntp
sudo systemctl enable --now ntp
```

2.2 不同版本的环境准备差异

Kubernetes 1.18和1.24在环境准备阶段存在一些关键差异：

容器运行时差异：

Kubernetes 1.18：
- 支持Docker(通过dockershim)和containerd等CRI兼容运行时
- 推荐使用Docker 18.09+或containerd 1.2+
- 安装Docker示例：
```
sudo apt-get install -y docker.io
sudo systemctl enable --now docker
```

Kubernetes 1.24：

完全移除了dockershim，必须使用containerd或CRI-O等符合CRI标准的运行时
推荐使用containerd 1.6+或CRI-O 1.23+

安装containerd示例：

# 安装必要的包
sudo apt-get install -y containerd

# 生成默认配置
sudo mkdir -p /etc/containerd
sudo containerd config default > /etc/containerd/config.toml

# 启用systemd cgroup驱动
sudo sed -i 's/SystemdCgroup = false/SystemdCgroup = true/' /etc/containerd/config.toml

# 重启containerd
sudo systemctl restart containerd
sudo systemctl enable containerd

Kubernetes组件版本选择：

Kubernetes 1.18：

# 安装特定版本的Kubernetes组件
sudo apt-get install -y kubelet=1.18.0-00 kubeadm=1.18.0-00 kubectl=1.18.0-00

Kubernetes 1.24：

# 安装特定版本的Kubernetes组件
sudo apt-get install -y kubelet=1.24.0-00 kubeadm=1.24.0-00 kubectl=1.24.0-00

CNI插件差异：

Kubernetes 1.18：

默认使用cni桥接网络插件

确保kubelet配置中启用CNI：

sudo sed -i 's/--network-plugin=cni/--network-plugin=cni/' /etc/systemd/system/kubelet.service.d/10-kubeadm.conf

Kubernetes 1.24：
- 更严格的CNI兼容性要求
- 需要确保CNI插件版本与Kubernetes版本兼容
- Cilium对1.24提供了更完善的CNI集成支持

2.3 Cilium特定环境要求

Cilium对运行环境有一些特定要求，需要特别注意：

内核版本要求：

Cilium需要Linux内核版本4.19.57+或5.1.16+或5.2.0+
推荐使用5.4+内核以获得最佳性能和功能支持
检查内核版本：
```
uname -r
```

eBPF支持：

Cilium严重依赖eBPF技术，需要内核支持eBPF和相关功能

确保内核配置中启用了以下选项：

CONFIG_BPF_SYSCALL=y
CONFIG_BPF_JIT=y
CONFIG_NET_CLS_BPF=y
CONFIG_NET_ACT_BPF=y

LLVM要求：

Cilium需要LLVM编译器套件来生成eBPF字节码程序
最低支持版本为LLVM 18.1+
安装LLVM示例：
```
sudo apt-get install -y llvm
```

Cilium CLI安装：

Cilium提供了命令行工具(cilium-cli)简化安装和管理

安装Cilium CLI：

# 下载并安装Cilium CLI
curl -L --fail --remote-name-all https://github.com/cilium/cilium-cli/releases/latest/download/cilium-linux-amd64.tar.gz{,.sha256sum}
sha256sum -c cilium-linux-amd64.tar.gz.sha256sum
sudo tar xzvf cilium-linux-amd64.tar.gz -C /usr/local/bin
rm cilium-linux-amd64.tar.gz{,.sha256sum}

三、Kubeadm安装Kubernetes 1.18与1.24详细步骤

3.1 Kubernetes 1.18安装步骤

以下是使用Kubeadm安装Kubernetes 1.18版本的详细步骤：

初始化控制平面节点：

# 使用kubeadm初始化控制平面节点
sudo kubeadm init --pod-network-cidr=192.168.0.0/16 --kubernetes-version=1.18.0

# 配置kubectl使用
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

安装Cilium网络组件：

# 下载Cilium安装文件
curl -L --fail --remote-name-all https://github.com/cilium/cilium/releases/download/v1.10.0/cilium-1.10.0-linux-amd64.tar.gz{,.sha256sum}
sha256sum -c cilium-1.10.0-linux-amd64.tar.gz.sha256sum
tar xzvf cilium-1.10.0-linux-amd64.tar.gz

# 进入Cilium安装目录
cd cilium-1.10.0/install/kubernetes

# 使用helm安装Cilium
helm install cilium . --namespace=kube-system

加入工作节点：

# 在控制平面节点上生成加入命令
kubeadm token create --print-join-command

# 在每个工作节点上执行生成的加入命令
sudo kubeadm join <control-plane-host>:<control-plane-port> --token <token> --discovery-token-ca-cert-hash sha256:<hash>

验证安装：

# 检查节点状态
kubectl get nodes

# 检查Cilium组件状态
kubectl get pods -n kube-system | grep cilium

# 检查网络策略功能
kubectl apply -f https://raw.githubusercontent.com/cilium/cilium/v1.10.0/examples/kubernetes/connectivity-check/connectivity-check.yaml
kubectl get pods -n cilium-test

3.2 Kubernetes 1.24安装步骤

以下是使用Kubeadm安装Kubernetes 1.24版本的详细步骤：

初始化控制平面节点：

# 使用kubeadm初始化控制平面节点
sudo kubeadm init --pod-network-cidr=192.168.0.0/16 --kubernetes-version=1.24.0

# 配置kubectl使用
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

安装Cilium网络组件：

# 下载Cilium安装文件
curl -L --fail --remote-name-all https://github.com/cilium/cilium/releases/download/v1.12.0/cilium-1.12.0-linux-amd64.tar.gz{,.sha256sum}
sha256sum -c cilium-1.12.0-linux-amd64.tar.gz.sha256sum
tar xzvf cilium-1.12.0-linux-amd64.tar.gz

# 进入Cilium安装目录
cd cilium-1.12.0/install/kubernetes

# 使用helm安装Cilium，启用kube-proxy替换功能
helm install cilium . --namespace=kube-system --set kubeProxyReplacement=probe

加入工作节点：

# 在控制平面节点上生成加入命令
kubeadm token create --print-join-command

# 在每个工作节点上执行生成的加入命令
sudo kubeadm join <control-plane-host>:<control-plane-port> --token <token> --discovery-token-ca-cert-hash sha256:<hash>

验证安装：

# 检查节点状态
kubectl get nodes

# 检查Cilium组件状态
kubectl get pods -n kube-system | grep cilium

# 检查网络策略功能
kubectl apply -f https://raw.githubusercontent.com/cilium/cilium/v1.12.0/examples/kubernetes/connectivity-check/connectivity-check.yaml
kubectl get pods -n cilium-test

3.3 两个版本安装步骤的关键差异

Kubernetes 1.18和1.24在安装过程中存在以下关键差异：

容器运行时差异：

1.18支持Docker(通过dockershim)和containerd，而1.24只能使用containerd或CRI-O
1.24需要额外配置containerd的cgroup驱动为systemd

Kubeadm初始化参数差异：

版本指定方式不同：1.18使用–kubernetes-version=1.18.0，1.24使用–kubernetes-version=1.24.0
1.24对API版本的处理更严格，可能需要额外的配置参数

Cilium安装差异：

Cilium版本要求不同：1.18需要Cilium 1.10+，1.24需要Cilium 1.12+
1.24支持kube-proxy替换功能，安装时需要添加–set kubeProxyReplacement=probe参数
1.24的Cilium安装支持更多高级功能，如Socket LB和服务网格集成

验证步骤差异：

1.24的Cilium验证可能需要额外的检查步骤，如确认kube-proxy替换是否成功
1.24对网络策略的支持更完善，验证时可以测试更复杂的策略配置

四、Cilium网络组件配置详解

4.1 Cilium在不同版本中的配置差异

Cilium在Kubernetes 1.18和1.24中的配置存在一些关键差异：

版本兼容性配置：

Kubernetes 1.18：
- 需要使用Cilium 1.10或更高版本
- 必须明确指定与1.18兼容的版本号
- 可能需要额外的兼容性配置参数
Kubernetes 1.24：
- 需要使用Cilium 1.12或更高版本
- 支持最新的API和功能，无需额外的兼容性参数
- 推荐使用Cilium 1.16或更高版本以获得最佳性能和安全性

kube-proxy替换配置：

Kubernetes 1.18：
- 不推荐完全替换kube-proxy，建议使用传统模式
- 可以部分替换，但需要复杂的配置和测试
Kubernetes 1.24：
- 完全支持kube-proxy替换功能，推荐使用probe模式
- 安装时只需添加–set kubeProxyReplacement=probe参数
- 替换后可显著提升性能和资源利用率

网络策略配置：

Kubernetes 1.18：
- 使用较旧的networking.k8s.io/v1beta1 API版本
- 支持基本的L3-L4网络策略
- Cilium提供的扩展策略功能有限
Kubernetes 1.24：
- 使用标准的networking.k8s.io/v1 API版本
- 全面支持L3-L7网络策略
- Cilium提供丰富的扩展策略功能，如基于身份的安全策略

Helm安装参数差异：

Kubernetes 1.18：

helm install cilium . --namespace=kube-system --version=1.10.0

Kubernetes 1.24：

helm install cilium . --namespace=kube-system --version=1.12.0 --set kubeProxyReplacement=probe

4.2 Cilium高级配置选项

Cilium提供了丰富的配置选项，可以通过Helm安装参数进行定制：

核心配置选项：

# 通用配置参数示例
helm install cilium . \
  --namespace=kube-system \
  --set enableIPv4Masquerade=true \
  --set enableIPv6=false \
  --set hostFirewall=true \
  --set ipam.mode=cluster-pool \
  --set clusterPoolIPv4PodCIDRList=192.168.0.0/16

性能优化配置：

# 性能优化配置示例
helm install cilium . \
  --namespace=kube-system \
  --set bpf.masquerade=false \
  --set bpf.tproxy=false \
  --set bpf.autoDirectNodeRoutes=true \
  --set bpf.metricsEnabled=true \
  --set bpf.metricsRefreshInterval=10

安全相关配置：

# 安全配置示例
helm install cilium . \
  --namespace=kube-system \
  --set auth.accessControlPolicy=default \
  --set auth.identityAllocationMode=dynamic \
  --set auth.identityCacheMaxEntries=100000 \
  --set encryption.enabled=true \
  --set encryption.provider=wireguard

kube-proxy替换配置：

# kube-proxy替换配置示例
helm install cilium . \
  --namespace=kube-system \
  --set kubeProxyReplacement=probe \
  --set kubeProxyReplacement.replacementMode=strict \
  --set kubeProxyReplacement.conntrackCleanupInterval=30 \
  --set kubeProxyReplacement.healthCheckInterval=5

4.3 Cilium与其他网络插件的集成

Cilium可以与其他网络插件集成，提供更丰富的网络功能：

CNI链集成：

Cilium可以与Calico、Flannel等传统CNI插件集成

配置示例：

# 安装Cilium与Calico集成
helm install cilium . \
  --namespace=kube-system \
  --set cni.chainingMode=calico \
  --set cni.exclusive=false \
  --set cni.interfaceName=cilium-cali

服务网格集成：

Cilium可以与Istio、Linkerd等服务网格集成

配置示例：

# 安装Cilium与Istio集成
helm install cilium . \
  --namespace=kube-system \
  --set serviceMesh.enabled=true \
  --set serviceMesh.istio.enabled=true \
  --set serviceMesh.istio.injectionWebhook=true

云提供商集成：

Cilium提供了对AWS、Azure、GCP等云提供商的特定集成

AWS ENI集成示例：

# 安装Cilium与AWS ENI集成
helm install cilium . \
  --namespace=kube-system \
  --set aws.region=us-east-1 \
  --set aws.vpcID=vpc-123456 \
  --set aws.subnetIDs=subnet-123456,subnet-789012 \
  --set aws.securityGroupID=sg-123456

存储集成：

Cilium可以与Ceph、GlusterFS等存储系统集成

配置示例：

# 安装Cilium与Ceph集成
helm install cilium . \
  --namespace=kube-system \
  --set storage.ceph.enabled=true \
  --set storage.ceph.monitors=ceph-monitor-1:6789,ceph-monitor-2:6789 \
  --set storage.ceph.userID=admin \
  --set storage.ceph.keyring=/etc/ceph/keyring

五、安装验证与优化

5.1 Cilium安装验证

安装完成后，需要验证Cilium的安装是否成功：

基本状态验证：

# 检查Cilium组件状态
kubectl get pods -n kube-system | grep cilium

# 检查Cilium节点状态
cilium status

# 检查Cilium版本信息
cilium version

网络连通性验证：

# 应用连通性测试
kubectl apply -f https://raw.githubusercontent.com/cilium/cilium/master/examples/kubernetes/connectivity-check/connectivity-check.yaml

# 检查测试结果
kubectl get pods -n cilium-test

# 查看测试日志
kubectl logs -n cilium-test connectivity-check

网络策略验证：

# 应用简单的网络策略
kubectl apply -f - <<EOF
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: allow-http
  namespace: default
spec:
  podSelector:
    matchLabels:
      app: web
  policyTypes:
  - Ingress
  ingress:
  - from:
    - podSelector:
        matchLabels:
          app: client
    ports:
    - protocol: TCP
      port: 80
EOF

# 验证策略是否生效
kubectl get networkpolicies

# 测试策略效果
kubectl exec -n cilium-test connectivity-check -- curl -I http://<web-pod-ip>

kube-proxy替换验证：

# 检查kube-proxy是否已被替换
kubectl get pods -n kube-system | grep kube-proxy

# 检查服务端点是否由Cilium管理
kubectl get endpoints <service-name> -o jsonpath='{.subsets[0].addresses[0].targetRef}'

# 测试服务连通性
kubectl run busybox --rm -it --image=busybox -- wget -O- <service-name>:<port>

5.2 Cilium性能优化

为了获得最佳性能，需要对Cilium进行适当的优化配置：

eBPF优化：

# eBPF性能优化配置示例
helm install cilium . \
  --namespace=kube-system \
  --set bpf.masquerade=false \
  --set bpf.tproxy=false \
  --set bpf.autoDirectNodeRoutes=true \
  --set bpf.metricsEnabled=true \
  --set bpf.metricsRefreshInterval=10

资源限制优化：

# 资源限制优化配置示例
helm install cilium . \
  --namespace=kube-system \
  --set resources.requests.cpu=100m \
  --set resources.requests.memory=256Mi \
  --set resources.limits.cpu=500m \
  --set resources.limits.memory=1Gi \
  --set daemonSet.scheduling.nodeSelector."beta\.kubernetes\.io/os"=linux \
  --set daemonSet.scheduling.tolerations[0].effect=NoSchedule \
  --set daemonSet.scheduling.tolerations[0].key=node-role.kubernetes.io/master

网络性能优化：

# 网络性能优化配置示例
helm install cilium . \
  --namespace=kube-system \
  --set mtu=1450 \
  --set enableIPv4Masquerade=true \
  --set enableIPv6=false \
  --set ipam.mode=cluster-pool \
  --set clusterPoolIPv4PodCIDRList=192.168.0.0/16 \
  --set hostFirewall=true

kube-proxy替换优化：

# kube-proxy替换优化配置示例
helm install cilium . \
  --namespace=kube-system \
  --set kubeProxyReplacement=probe \
  --set kubeProxyReplacement.replacementMode=strict \
  --set kubeProxyReplacement.conntrackCleanupInterval=30 \
  --set kubeProxyReplacement.healthCheckInterval=5 \
  --set kubeProxyReplacement.conntrackMaxPerCore=1024 \
  --set kubeProxyReplacement.conntrackTCPEstablishedTimeout=3600

5.3 常见问题与解决方案

在安装和配置过程中，可能会遇到以下常见问题：

安装失败问题：

问题：Cilium安装失败，提示版本不兼容

解决方案：

# 确认Cilium版本与Kubernetes版本兼容
# 对于Kubernetes 1.18，使用Cilium 1.10+
# 对于Kubernetes 1.24，使用Cilium 1.12+

# 重新安装正确版本的Cilium
helm uninstall cilium -n kube-system
helm install cilium . --namespace=kube-system --version=1.12.0

网络连通性问题：

问题：Pods之间无法通信，或无法访问服务

解决方案：

# 检查Cilium状态
cilium status

# 检查网络策略是否阻止了流量
kubectl get networkpolicies

# 检查Pod网络CIDR是否正确配置
kubectl cluster-info dump | grep pod-network-cidr

# 重新安装Cilium并指定正确的CIDR
helm uninstall cilium -n kube-system
helm install cilium . --namespace=kube-system --set clusterPoolIPv4PodCIDRList=192.168.0.0/16

性能问题：

问题：网络性能低于预期，或CPU使用率过高

解决方案：

# 检查Cilium资源使用情况
kubectl top pods -n kube-system | grep cilium

# 优化Cilium配置参数
helm upgrade cilium . --namespace=kube-system \
  --set resources.requests.cpu=200m \
  --set resources.requests.memory=512Mi \
  --set resources.limits.cpu=1000m \
  --set resources.limits.memory=2Gi

# 调整eBPF配置
helm upgrade cilium . --namespace=kube-system \
  --set bpf.masquerade=false \
  --set bpf.tproxy=false \
  --set bpf.autoDirectNodeRoutes=true

kube-proxy替换问题：

问题：替换kube-proxy后服务不可用

解决方案：

# 检查Cilium的kube-proxy替换状态
cilium status | grep kube-proxy

# 重新安装Cilium并启用kube-proxy替换
helm uninstall cilium -n kube-system
helm install cilium . --namespace=kube-system --set kubeProxyReplacement=probe

# 检查服务端点是否正确
kubectl get endpoints <service-name> -o wide