Prometheus监控k8s集群

Prometheus监控k8s集群

Prometheus是一个开源系统监控和警报工具包，它将其指标收集并存储为时间序列数据，即指标信息与其记录的时间戳一起存储，同时还有称为标签的可选键值对。

工作原理

1. Prometheus从job拉取指标（通过指标暴露的方式提供接口让Prometheus能够获取数据）或者中间推送网关中获取指标数据

2. 将所有抓取到的指标存储在本地TSDB时序数据库，并对这些数据运行规则，聚合形成新的时间序列

3. 使用grafana或者其他api消费者来可视化收集到的数据

4. 针对于k8s的监控还需要配置服务发现（api server）自动获取节点pod信息

配置scrape_config job监控指标

Prometheus自身监控

      # 自监控9090是Prometheus的默认端口
      - job_name: 'prometheus'
        static_configs:
          - targets: ['localhost:9090']  

监控api server 服务器

      # 监控Kubernetes API服务器
      - job_name: 'kubernetes-apiservers'
        kubernetes_sd_configs:
          - role: endpoints
        scheme: https
        tls_config:
          ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt
        bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token
        relabel_configs:
          - source_labels: [__meta_kubernetes_namespace, __meta_kubernetes_service_name, __meta_kubernetes_endpoint_port_name]
            action: keep
            regex: default;kubernetes;https

监控kubelet

    # 监控kubelet
      - job_name: 'kubelet'
        scheme: https
        tls_config:
          ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt
        bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token
        kubernetes_sd_configs:
          - role: node
        relabel_configs:
          - a