两招搞定K8s改造？全球领先数据云Snowflake这样做

最新推荐文章于 2025-06-23 09:26:48 发布

CloudPilotAI

最新推荐文章于 2025-06-23 09:26:48 发布

阅读量953

点赞数 24

CC 4.0 BY-SA版权

分类专栏：落地实践文章标签： kubernetes 容器云成本

本文链接：https://blog.youkuaiyun.com/cloudpilot_ai/article/details/148120706

落地实践专栏收录该内容

17 篇文章

订阅专栏

Snowflake 的 IT 云运营团队迎来了云基础设施演进的关键转折点。随着 Amazon EKS 上容器化工作负载规模不断扩大，他们亟需一个更现代、安全且高效的操作系统。

其原有基于 Amazon Linux 2（AL2）的架构虽能运行，却存在多重挑战：

安全加固需频繁更新补丁导致运维负担加重；
大规模节点的一致更新难以保障；
AL2 节点启动速度较慢影响扩缩容效率

经过全面评估，AWS 专为容器优化设计的操作系统 Bottlerocket 成为解决这些问题的理想选择。

01/Bottlerocket 是什么？

Bottlerocket 是 AWS 专为容器优化场景设计的开源操作系统。

与传统通用型操作系统不同，Bottlerocket 采用了最小化设计，去除了不必要的软件包，仅包含运行容器所需的核心组件。

它具有 API 化配置管理、系统更新快速可靠、提高容器安全防护等特点，大幅提升了集群节点的安全性、可维护性与启动速度。

Github 地址：https://github.com/bottlerocket-os/bottlerocket#bottlerocket-os

02/迁移策略：从 AL2 到 Bottlerocket 的演进

从 AL2 转向 Bottlerocket，不只是一次简单的技术升级，更是一次为 Kubernetes 基础设施构建未来竞争力的战略决策。

考虑到工作负载的规模与复杂性，迁移方案设计遵循零宕机、最小化中断和弹性扩缩原则。

Snowflake 最终选择开源 Kubernetes 集群自动扩缩工具 Karpenter，配合 NodePool 和 NodeClass 实现动态节点调度。整个迁移采用渐进式实施策略，以降低风险并保持稳定。

03/迁移步骤

1.集群准备

修改 NodePool 和 NodeClass 的配置，将 Bottlerocket AMI 集成到 EKS 环境中，并将其设定为默认的 AMI 类型
遵循最小权限原则，调整 AWS 身份访问管理策略以适配 Bottlerocket 安全模型，确保所有权限设置符合基础设施安全要求

以下架构图展示了迁移策略：

2.引入 Karpenter

在架构设计层面，Karpenter 的引入取代了传统的静态节点预配置方式，实现了节点的“按需实时调度”，极大提升了集群的弹性和响应能力。

Staging 环境测试：完成配置后，在 Staging 环境中验证 Bottlerocket 节点的工作负载性能和兼容性，达标后逐步推广到生产环境
构建监控体系：借助 Fluentd 和 Datadog 实现实时指标与跟踪分析
安全合规测试：确保 Bottlerocket 的不可变基础设施符合 Snowflake 内部的安全策略和标准

3.渐进式上线

从无状态应用开始，利用节点亲和性（Node Affinity）、Pod 反亲和性（Pod Anti-Affinity）及节点分类等机制，确保工作负载合理分布
逐步引入 Bottlerocket 节点，与现有的 AL2 实例共存运行，保证迁移过程中业务运行的连续性与稳定性
逐步替换，通过标记不可调度（Cordon）和排空节点（Drain）有序下线 AL2 实例，实现平滑过渡

4.深度优化与监控

利用 Karpenter 弹性伸缩策略，动态调整节点池，按需供给资源，避免过度配置
基于真实工作负载进行性能调优
增强可观测性，实时监控系统健康状态，提前预警潜在问题

⚪ 示例配置

定义 NodeClass（Bottlerocket 节点模板）：

apiVersion: karpenter.k8s.aws/v1alpha5
kind: NodeClass
metadata:
  name: bottlerocket-nodeclass
spec:
  amiFamily: Bottlerocket
  instanceProfile: "KarpenterNodeInstanceProfile"
  securityGroupSelector:
    aws-ids: ["sg-0123456789"]

定义 NodePool 并关联上述 NodeClass：

apiVersion: karpenter.k8s.aws/v1alpha5
kind: NodePool
metadata:
  name: bottlerocket-nodepool
spec:
  template:
    spec:
      nodeClassRef:
        name: bottlerocket-nodeclass
  limits:
    resources:
      cpu: 1000
  ttlSecondsAfterEmpty: 30

利用节点亲和性调度工作负载至 Bottlerocket 节点：

apiVersion: apps/v1
kind: Deployment
metadata:
  name: bottlerocket-app
spec:
  replicas: 3
  selector:
    matchLabels:
      app: bottlerocket-app
  template:
    metadata:
      labels:
        app: bottlerocket-app
    spec:
      affinity:
        nodeAffinity:
          requiredDuringSchedulingIgnoredDuringExecution:
            nodeSelectorTerms:
            - matchExpressions:
              - key: karpenter.k8s.aws/node-pool
                operator: In
                values:
                - bottlerocket-nodepool
      containers:
      - name: app
        image: my-app-image:latest

利用 Pod 反亲和性跨节点分散工作负载的示例：

apiVersion: apps/v1
kind: Deployment
metadata:
  name: workload-deployment
spec:
  replicas: 3
  selector:
    matchLabels:
      app: critical-app
  template:
    metadata:
      labels:
        app: critical-app
    spec:
      affinity:
        podAntiAffinity:
          requiredDuringSchedulingIgnoredDuringExecution:
          - labelSelector:
              matchExpressions:
              - key: app
                operator: In
                values:
                - critical-app
            topologyKey: "kubernetes.io/hostname"
      containers:
      - name: workload
        image: workload-image:latest