Prometheus 聚合查询的两个方案

问题背景

多个 Prometheus 集群或者多个 VictoriaMetrics 集群，在 Grafana 和夜莺里通常需要创建多个不同的数据源，这也就意味着，数据没法聚合查询，比如统一做一下 sum 之类的运算会比较麻烦，本文讲述两种 Prometheus 生态的聚合查询方案，以供参考。

场景模拟

我在本地模拟一个这样的场景：两套时序库，比如一套采集的 tomcat 相关机器的指标，一套采集的 oracle 相关机器的指标，相当于按业务切分的两套时序库。这里涉及三个组件：

• node_exporter：仅用于模拟提供监控指标
• prometheus9090：监听在 9090 端口的 prometheus，用于采集 node_exporter 的监控指标，会为数据附加上 service="tomcat" 的标签，表示这是 tomcat 业务的监控指标
• prometheus9091：监听在 9091 端口的 prometheus，用于采集 node_exporter 的监控指标，会为数据附加上 service="oracle" 的标签，表示这是 oracle 业务的监控指标

prometheus9090 的配置文件 prometheus.9090.yml 如下：

global:
  scrape_interval: 15s
  evaluation_interval: 15s

scrape_configs:
  - job_name: "node_exporter"
    static_configs:
      - targets: ["localhost:9100"]
        labels:
          service: tomcat

prometheus9091 的配置文件 prometheus.9091.yml 如下：

global:
  scrape_