Poseidon/Typhoon项目：基于Fedora CoreOS的裸金属Kubernetes集群部署指南

Poseidon/Typhoon项目：基于Fedora CoreOS的裸金属Kubernetes集群部署指南

typhoon Minimal and free Kubernetes distribution with Terraform 项目地址: https://gitcode.com/gh_mirrors/typ/typhoon

前言

在现代云原生环境中，Kubernetes已成为容器编排的事实标准。虽然公有云提供了便捷的Kubernetes托管服务，但在私有数据中心或边缘计算场景中，直接在裸金属服务器上部署Kubernetes集群仍然是许多企业的首选方案。本文将详细介绍如何使用Poseidon/Typhoon项目在裸金属环境中部署基于Fedora CoreOS的Kubernetes集群。

核心组件介绍

Fedora CoreOS

Fedora CoreOS是一个专为容器化工作负载设计的轻量级操作系统，具有自动更新、不可变基础设施等特性，非常适合运行Kubernetes集群。

Matchbox

Matchbox是一个用于裸金属服务器网络引导和配置的服务，它可以根据机器的MAC地址等标识信息匹配对应的安装配置。

Typhoon

Typhoon是一个使用Terraform模块化部署Kubernetes集群的项目，支持多种平台和操作系统，包括裸金属环境。

部署准备

硬件要求

• 服务器配置：至少2GB内存，30GB磁盘空间
• 网络要求：支持PXE启动的网卡，IPMI远程管理功能
• 服务器数量：建议至少3台（1控制节点+2工作节点）

网络环境准备

1. 配置PXE网络引导环境，支持HTTPS下载
2. 为每台服务器配置DNS A记录
3. 确保网络支持iPXE固件链式加载

Matchbox服务部署

1. 安装Matchbox服务（推荐在Kubernetes集群中部署）
2. 生成TLS证书用于客户端认证
3. 验证Matchbox服务可访问性

详细部署步骤

1. Terraform配置准备

创建providers.tf文件，配置Matchbox和CT provider：

provider "matchbox" {
  endpoint    = "matchbox.example.com:8081"
  client_cert = file("~/.config/matchbox/client.crt")
  client_key  = file("~/.config/matchbox/client.key")
  ca          = file("~/.config/matchbox/ca.crt")
}

provider "ct" {}

terraform {
  required_providers {
    ct = {
      source  = "poseidon/ct"
      version = "0.13.0"
    }
    matchbox = {
      source = "poseidon/matchbox"
      version = "0.5.2"
    }
  }
}

2. 定义Kubernetes集群

创建cluster.tf文件定义集群：

module "production" {
  source = "git::https://github.com/poseidon/typhoon//bare-metal/fedora-coreos/kubernetes?ref=v1.33.1"

  # 基础配置
  cluster_name            = "production"
  matchbox_http_endpoint  = "http://matchbox.example.com"
  os_stream               = "stable"
  os_version              = "32.20201104.3.0"

  # Kubernetes配置
  k8s_domain_name    = "k8s.example.com"
  ssh_authorized_key = "ssh-ed25519 AAAAB3Nz..."

  # 机器配置
  controllers = [{
    name   = "node1"
    mac    = "52:54:00:a1:9c:ae"
    domain = "node1.example.com"
  }]
  
  workers = [
    {
      name   = "node2",
      mac    = "52:54:00:b2:2f:86"
      domain = "node2.example.com"
    },
    {
      name   = "node3",
      mac    = "52:54:00:c3:61:77"
      domain = "node3.example.com"
    }
  ]
}

3. 初始化并应用配置

# 初始化Terraform
terraform init

# 查看执行计划
terraform plan

# 应用配置
terraform apply

4. 服务器引导

通过IPMI设置服务器从PXE启动：

ipmitool -H node1.example.com -U USER -P PASS chassis bootdev pxe
ipmitool -H node1.example.com -U USER -P PASS power on

集群验证

获取kubeconfig

resource "local_file" "kubeconfig-production" {
  content         = module.production.kubeconfig-admin
  filename        = "~/.kube/configs/production-config"
  file_permission = "0600"
}

检查集群状态

export KUBECONFIG=~/.kube/configs/production-config
kubectl get nodes
kubectl get pods --all-namespaces

高级配置选项

网络插件选择

Typhoon支持多种CNI插件，默认使用Cilium：

networking = "cilium"  # 或 "flannel"

自定义安装参数

可以调整各种安装参数：

install_disk = "sdb"  # 指定安装磁盘
pod_cidr = "10.22.0.0/16"  # 自定义Pod网络CIDR
service_cidr = "10.3.0.0/24"  # 自定义Service网络CIDR
kernel_args = ["kvm-intel.nested=1"]  # 自定义内核参数

节点标签和污点

可以为工作节点配置初始标签和污点：

worker_node_labels = {
  "node2" = ["role=gpu"]
}
worker_node_taints = {
  "node2" = ["role=gpu:NoSchedule"]
}

常见问题排查

1. PXE启动失败：检查网络引导环境配置，确保iPXE固件支持HTTPS
2. 证书问题：验证Matchbox TLS证书配置是否正确
3. 引导卡住：通过IPMI SOL控制台查看实时日志
4. 节点无法加入集群：检查网络连通性和DNS解析

维护建议

1. 定期检查Fedora CoreOS更新
2. 备份集群关键配置和证书
3. 使用Typhoon的更新机制进行集群升级
4. 监控集群健康状态

总结

通过Poseidon/Typhoon项目，我们可以在裸金属环境中快速部署一个基于Fedora CoreOS的生产级Kubernetes集群。这种方法结合了不可变基础设施的理念和自动化配置管理，既保证了集群的稳定性，又简化了运维复杂度。对于需要在自有硬件上运行Kubernetes的企业来说，这是一个非常值得考虑的解决方案。

typhoon Minimal and free Kubernetes distribution with Terraform 项目地址: https://gitcode.com/gh_mirrors/typ/typhoon