Gardener项目监控栈扩展指南-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_00943/article/details/148602419

Gardener项目监控栈扩展指南

gardener Homogeneous Kubernetes clusters at scale on any infrastructure using hosted control planes. 项目地址: https://gitcode.com/gh_mirrors/ga/gardener

前言

在Kubernetes集群管理中，监控系统是保障集群稳定运行的重要基础设施。作为Kubernetes集群管理解决方案，Gardener提供了完整的监控栈来观察控制平面和系统组件的行为。本文将深入讲解如何扩展Gardener项目的监控能力。

监控架构概述

Gardener为每个Shoot集群部署了独立的监控栈，分布在Seed和Shoot两个层面：

Seed集群组件：

Prometheus：核心指标收集服务
Plutono：数据可视化平台（类似Grafana）
Blackbox-exporter：黑盒监控探针
Kube-state-metrics：集群状态指标收集器（Seed和Shoot各一个实例）
Alertmanager（可选）：告警管理服务

Shoot集群组件：

Node-exporter：节点级指标收集器
Kube-state-metrics：集群状态指标收集器
Blackbox-exporter：黑盒监控探针

这种架构设计确保了监控数据的隔离性，同时通过联邦机制实现了跨层级的指标收集。

新增监控目标

基本原则

指标选择原则：只收集必要的指标，避免数据膨胀
命名规范：job_name应与组件名称保持一致（如kube-apiserver）
采集间隔：默认采用30秒采集间隔

实现步骤

修改charts/seed-monitoring/charts/core/charts/prometheus/templates/config.yaml文件
在scrape_configs部分添加新的采集任务
使用metric_relabel_configs实现指标白名单过滤

示例配置：

- job_name: example-component
  metric_relabel_configs:
    {{- include "prometheus.keep-metrics.metric-relabel-config" .Values.allowedMetrics.exampleComponent | indent 6 }}

在charts/seed-monitoring/charts/core/charts/prometheus/values.yaml中定义允许收集的指标白名单

allowedMetrics:
  exampleComponent:
  - metrics_name_1
  - metrics_name_2

告警规则设计

告警文件组织

已有组件的告警扩展：修改对应组件的现有规则文件
新组件的告警：创建新规则文件，命名格式为example-component.rules.yaml

告警属性规范

每个告警规则必须包含以下元素：

注解(Annotations)：

summary：问题简要描述
description：详细说明，包括可能原因和影响评估

标签(Labels)：

type：组件类型（shoot或seed）
service：组件名称（小写）
severity：严重级别（blocker/critical/info/warning）

告警路由机制

Gardener采用两级告警路由：

中央Seed Alertmanager：

按项目和Shoot名称分组
根据visibility和severity路由到不同接收方
仅处理operator可见的告警

Shoot Alertmanager：

处理单个Shoot的告警
根据visibility和severity路由到集群所有者
仅处理owner可见的告警

告警抑制机制

为避免误报，Gardener实现了告警抑制逻辑：

当网络连接出现问题时，抑制所有Worker节点相关组件的告警
需要将新告警添加到抑制关系图中

Plutono仪表盘开发

组织结构

仪表盘应按功能域分类，通过标签标识：

控制平面组件（control-plane）
节点/机器组件（node/machine）
网络组件（network）
插件组件（addon）
监控组件（monitoring）
日志组件（logging）

必备图表

每个组件仪表盘第一行必须包含：

Pod运行状态（up指标）
CPU使用率
内存消耗
网络I/O

仪表盘规范

基本配置要求：

{
  "title": "组件名称",
  "timezone": "utc",
  "tags": ["seed/shoot", "category"],
  "version": 1,
  "editable": false
}

时间选项规范：

{
  "time": {
    "from": "now-1h",
    "to": "now"
  },
  "timepicker": {
    "refresh_intervals": ["30s", "1m", "5m"],
    "time_options": ["5m", "15m", "1h", "6h", "12h", "24h", "2d", "10d"]
  }
}