Prometheus AlertManager 配置详解：simple.yml 文件解析-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_00368/article/details/148464927

Prometheus AlertManager 配置详解：simple.yml 文件解析

alertmanager prometheus/alertmanager: Alertmanager是Prometheus生态系统的一部分，它用于处理和路由警报通知。当Prometheus服务器检测到满足预定义条件的告警规则时，Alertmanager负责对这些告警进行去重、抑制以及通过多种方式（如邮件、Slack、PagerDuty等）发送给接收者。项目地址: https://gitcode.com/gh_mirrors/al/alertmanager

概述

AlertManager 是 Prometheus 监控系统中的告警管理组件，负责处理来自 Prometheus 的告警通知，进行分组、抑制和路由分发。本文将通过分析 simple.yml 这个典型配置文件，深入讲解 AlertManager 的核心配置概念和工作原理。

全局配置 (global)

全局配置部分定义了整个 AlertManager 实例的通用设置：

global:
  smtp_smarthost: 'localhost:25'
  smtp_from: 'alertmanager@example.org'
  smtp_auth_username: 'alertmanager'
  smtp_auth_password: 'password'

smtp_smarthost: 指定 SMTP 服务器地址和端口，用于邮件通知
smtp_from: 设置发件人邮箱地址
smtp_auth_username 和 smtp_auth_password: SMTP 认证的用户名和密码

这些配置为后续接收器(receiver)中的邮件通知提供了基础设置。

模板配置 (templates)

templates:
  - '/etc/alertmanager/template/*.tmpl'

模板配置指定了告警通知模板文件的路径。AlertManager 使用 Go 模板语言，允许用户自定义告警通知的格式和内容。模板可以包含告警的标签、注释等信息，使通知更加友好和可读。

路由配置 (route)

路由配置是 AlertManager 最核心的部分，决定了告警如何被处理和分发。

基本路由属性

route:
  group_by: ['alertname', 'cluster', 'service']
  group_wait: 30s
  group_interval: 5m
  repeat_interval: 3h
  receiver: team-X-mails

group_by: 定义告警分组的依据标签。相同标签值的告警会被分到同一组。示例中按 alertname、cluster 和 service 三个标签分组。
group_wait: 等待时间，允许在初始告警触发后收集同一组的其他告警，避免频繁通知。30秒的设置意味着系统会等待30秒看看是否有相同组的其他告警触发。
group_interval: 同一组告警发送新批次通知的最小间隔时间。设置为5分钟意味着即使有新的告警触发，也要等5分钟才会再次通知。
repeat_interval: 对于已解决的告警，如果再次触发，至少要等待3小时才会重新通知。
receiver: 默认接收器，当没有匹配的路由规则时使用。

子路由配置

AlertManager 支持树形路由结构，子路由可以继承和覆盖父路由的属性：

routes:
  - matchers:
      - service=~"foo1|foo2|baz"
    receiver: team-X-mails
    routes:
      - matchers:
          - severity="critical"
        receiver: team-X-pager

第一级路由匹配 service 标签为 foo1、foo2 或 baz 的告警，发送给 team-X-mails
子路由进一步筛选 severity="critical" 的告警，升级发送给 team-X-pager
其他严重程度的告警仍由父路由处理

这种分层路由设计使得告警可以按业务逻辑逐步细化处理。

特殊路由示例

- matchers:
    - service="database"
  receiver: team-DB-pager
  group_by: [alertname, cluster, database]
  routes:
    - matchers:
        - owner="team-X"
      receiver: team-X-pager
      continue: true
    - matchers:
        - owner="team-Y"
      receiver: team-Y-pager

这个数据库服务告警的特殊路由展示了几个高级特性：

覆盖了父路由的 group_by 设置，增加了 database 标签
使用 continue: true 允许路由匹配继续向下检查
根据 owner 标签将告警分发给不同团队

抑制规则 (inhibit_rules)

抑制规则用于在某些告警触发时静音其他相关告警：

inhibit_rules:
  - source_matchers: [severity="critical"]
    target_matchers: [severity="warning"]
    equal: [alertname, cluster, service]

这条规则表示：当有 severity="critical" 的告警触发时，抑制具有相同 alertname、cluster 和 service 标签但 severity="warning" 的告警。这避免了在严重问题发生时收到大量冗余的警告通知。

接收器配置 (receivers)

接收器定义了告警最终发送的目的地和方式：

receivers:
  - name: 'team-X-mails'
    email_configs:
      - to: 'team-X+alerts@example.org'

  - name: 'team-X-pager'
    email_configs:
      - to: 'team-X+alerts-critical@example.org'
    pagerduty_configs:
      - service_key: <team-X-key>

示例中展示了两种常见的接收器类型：