Prometheus 记录规则(Recording Rules)完全指南-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_00459/article/details/148324074

Prometheus 记录规则(Recording Rules)完全指南

prometheus Prometheus是一个开源的监控和警报工具，用于监控Kubernetes应用程序和云基础设施的性能和可用性。 - 功能：监控；警报；性能管理；可用性管理；Kubernetes应用程序管理。 - 特点：高可用性；高性能；灵活的数据采集；与Kubernetes集成。项目地址: https://gitcode.com/gh_mirrors/pr/prometheus

什么是记录规则

在 Prometheus 监控系统中，记录规则(Recording Rules)是一种强大的功能，它允许我们预先计算并存储经常使用或计算成本高的 PromQL 表达式结果。通过记录规则，我们可以将复杂的查询结果保存为新的时间序列，从而在后续查询时直接使用这些预计算结果，大幅提升查询效率。

为什么需要记录规则

记录规则主要解决以下几个问题：

性能优化：对于复杂计算或聚合查询，每次实时计算会消耗大量资源。记录规则将这些计算结果预先存储，查询时直接读取，显著降低查询延迟。
一致性保证：对于仪表盘中需要重复查询的指标，使用记录规则可以确保每次查询结果一致，避免因实时计算导致的微小差异。
资源节省：减少重复计算，降低 Prometheus 服务器负载，特别适用于大规模监控环境。

记录规则配置详解

规则文件结构

记录规则使用 YAML 格式定义，基本结构如下：

groups:
  - name: example-rules  # 规则组名称
    interval: 30s        # 可选，覆盖全局评估间隔
    rules:
    - record: job:http_inprogress_requests:sum  # 新时间序列名称
      expr: sum by (job) (http_inprogress_requests)  # 要计算的PromQL表达式
      labels:  # 可选，添加或覆盖标签
        severity: 'high'

关键配置项说明

规则组(rule_group)：
- name: 规则组唯一标识
- interval: 规则评估间隔，默认使用全局设置
- rules: 包含的具体规则列表
记录规则(rule)：
- record: 新生成的时间序列名称
- expr: 要计算的 PromQL 表达式
- labels: 可选，为新时间序列添加或覆盖标签

最佳实践命名规范

为记录规则生成的指标命名时，建议采用以下格式： <level>:<metric_name>:<operation>

例如： job:http_requests_total:sum 表示在 job 级别对 http_requests_total 指标进行求和

规则文件语法检查

在部署前，强烈建议使用 promtool 工具检查规则文件语法：

promtool check rules /path/to/your_rules.yml

该工具会验证文件语法并显示解析后的规则内容，帮助及早发现配置错误。

高级功能与注意事项

规则评估偏移(query_offset)

在某些场景下，特别是 Prometheus 作为远程写入目标时，指标数据可能会有延迟到达。通过设置 query_offset 可以确保规则评估时底层指标数据已经可用：

groups:
  - name: delayed-rules
    query_offset: 1m  # 评估时间戳向前偏移1分钟
    rules:
    - record: delayed:metric:avg
      expr: avg_over_time(metric[5m])

规则评估限制

执行超时：如果规则评估时间过长，可能导致后续评估被跳过，产生数据间隙。监控 rule_group_iterations_missed_total 指标可以及时发现这类问题。
结果限制：通过 limit 参数可以限制规则生成的时间序列数量，防止意外产生过多数据：

groups:
  - name: limited-rules
    limit: 100  # 最多允许生成100个时间序列
    rules:
    - record: high_cardinality:metric:count
      expr: count by (label) (metric)

实际应用示例

场景一：聚合高频查询

groups:
  - name: http-aggregations
    rules:
    - record: job:http_request_duration_seconds:avg_rate_5m
      expr: avg(rate(http_request_duration_seconds_sum[5m])) by (job)
           / avg(rate(http_request_duration_seconds_count[5m])) by (job)
    - record: instance:http_requests_total:rate_5m
      expr: rate(http_requests_total[5m])

场景二：复杂计算预聚合

groups:
  - name: business-metrics
    rules:
    - record: business:order_value:percentile_95
      expr: histogram_quantile(0.95, 
            sum(rate(order_value_bucket[5m])) by (le, product_type))
      labels:
        department: 'ecommerce'