alertmanager告警抑制

应用场景

• 如果某些其他警报已经触发，则抑制某些警报的通知。

• 多用于某些高等级的告警已触发，然后低等级的被抑制

  • 如机器宕机告警触发，则机器上的进程存活监控都被抑制

  • 如region基础网络告警触发，region内部的服务端口探活都被抑制

配置

• 告警中同一个机器node_name出发的 critical告警（重度异常影响业务）要抑制warning（轻度不影响业务）的

• 添加到alertmanager配置文件中并 reload

inhibit_rules:
  - source_match:
      severity: 'critical'
    target_match:
      severity: 'warning'
    equal: ['node_name']

重启prometheus和alertmanager 

systemctl restart prometheus
systemctl restart alertmanager

期望现象

• 相同node_name的多条告警，当severity='critical'触发时抑制 severity='warning'的

• 即 severity='warning'不会触发，对应的就是mysql的不会触发，node的会触发