Kubernetes高可用集群实战：etcd集群部署指南

Kubernetes高可用集群实战：etcd集群部署指南

前言

在构建Kubernetes生产环境时，etcd作为集群的核心数据存储组件，其稳定性和可靠性直接关系到整个集群的健康状态。本文将深入讲解如何在Kubernetes高可用部署方案中正确配置etcd集群。

etcd在Kubernetes中的重要性

etcd是一个分布式键值存储系统，Kubernetes使用它来存储所有集群数据，包括：

• 节点信息
• Pod部署状态
• 服务发现数据
• 配置信息

由于Kubernetes控制平面组件本身是无状态的，所有状态数据都依赖于etcd，因此etcd的高可用配置是构建健壮Kubernetes集群的基础。

准备工作

在开始部署前，需要确保：

1. 已经准备好至少两个控制节点（controlplane01和controlplane02）
2. 已完成TLS证书的生成和分发工作
3. 节点间网络互通，特别是2380和2379端口

详细部署步骤

1. 安装etcd二进制文件

首先需要在每个控制节点上下载并安装etcd：

ETCD_VERSION="v3.5.9"
wget -q --show-progress --https-only --timestamping \
  "https://github.com/coreos/etcd/releases/download/${ETCD_VERSION}/etcd-${ETCD_VERSION}-linux-${ARCH}.tar.gz"

解压并安装到系统路径：

{
  tar -xvf etcd-${ETCD_VERSION}-linux-${ARCH}.tar.gz
  sudo mv etcd-${ETCD_VERSION}-linux-${ARCH}/etcd* /usr/local/bin/
}

2. 配置etcd服务

证书和目录准备

{
  sudo mkdir -p /etc/etcd /var/lib/etcd /var/lib/kubernetes/pki
  sudo cp etcd-server.key etcd-server.crt /etc/etcd/
  sudo cp ca.crt /var/lib/kubernetes/pki/
  sudo chown root:root /etc/etcd/*
  sudo chmod 600 /etc/etcd/*
  sudo chown root:root /var/lib/kubernetes/pki/*
  sudo chmod 600 /var/lib/kubernetes/pki/*
  sudo ln -s /var/lib/kubernetes/pki/ca.crt /etc/etcd/ca.crt
}

获取节点IP信息

CONTROL01=$(dig +short controlplane01)
CONTROL02=$(dig +short controlplane02)

设置etcd成员名称

ETCD_NAME=$(hostname -s)

3. 创建systemd服务文件

这是etcd配置的核心部分，需要特别注意以下参数：

cat <<EOF | sudo tee /etc/systemd/system/etcd.service
[Unit]
Description=etcd
Documentation=https://github.com/coreos

[Service]
ExecStart=/usr/local/bin/etcd \\
  --name ${ETCD_NAME} \\
  --cert-file=/etc/etcd/etcd-server.crt \\
  --key-file=/etc/etcd/etcd-server.key \\
  --peer-cert-file=/etc/etcd/etcd-server.crt \\
  --peer-key-file=/etc/etcd/etcd-server.key \\
  --trusted-ca-file=/etc/etcd/ca.crt \\
  --peer-trusted-ca-file=/etc/etcd/ca.crt \\
  --peer-client-cert-auth \\
  --client-cert-auth \\
  --initial-advertise-peer-urls https://${PRIMARY_IP}:2380 \\
  --listen-peer-urls https://${PRIMARY_IP}:2380 \\
  --listen-client-urls https://${PRIMARY_IP}:2379,https://127.0.0.1:2379 \\
  --advertise-client-urls https://${PRIMARY_IP}:2379 \\
  --initial-cluster-token etcd-cluster-0 \\
  --initial-cluster controlplane01=https://${CONTROL01}:2380,controlplane02=https://${CONTROL02}:2380 \\
  --initial-cluster-state new \\
  --data-dir=/var/lib/etcd
Restart=on-failure
RestartSec=5

[Install]
WantedBy=multi-user.target
EOF

关键参数说明：

• initial-cluster: 定义集群初始成员列表
• listen-peer-urls: 节点间通信地址
• listen-client-urls: 客户端访问地址
• client-cert-auth: 启用客户端证书认证

4. 启动etcd服务

{
  sudo systemctl daemon-reload
  sudo systemctl enable etcd
  sudo systemctl start etcd
}

集群验证

在所有节点完成部署后，可以通过以下命令验证集群状态：

sudo ETCDCTL_API=3 etcdctl member list \
  --endpoints=https://127.0.0.1:2379 \
  --cacert=/etc/etcd/ca.crt \
  --cert=/etc/etcd/etcd-server.crt \
  --key=/etc/etcd/etcd-server.key

正常输出应显示所有集群成员及其状态信息。

常见问题排查

1. 节点无法加入集群：

   • 检查2380端口是否开放
   • 验证证书是否正确配置
   • 确保initial-cluster参数在所有节点上一致

2. 客户端连接失败：

   • 检查2379端口
   • 验证客户端证书
   • 确认advertise-client-urls配置正确

3. 数据不一致：

   • 检查网络延迟
   • 确认所有节点时钟同步

生产环境建议

1. 建议部署3个或5个节点的etcd集群以获得更好的容错能力
2. 定期备份etcd数据
3. 监控etcd性能指标，特别是延迟和存储大小
4. 考虑使用etcd操作器简化管理

后续步骤

完成etcd集群部署后，下一步将是配置Kubernetes控制平面组件，它们将依赖这个etcd集群来存储集群状态。

通过本文的详细指导，您应该已经成功部署了一个高可用的etcd集群，为构建健壮的Kubernetes生产环境奠定了坚实基础。