目录
一、Prometheus简介
1.1 Prometheus架构
1.1.1 组件功能:
-
监控代理程序:如node_exporter:收集主机的指标数据,如平均负载、CPU、内存、磁盘、网络等等多个维度的指标数据。
-
kubelet(cAdvisor):收集容器指标数据,也是K8S的核心指标收集,每个容器的相关指标数据包括:CPU使用率、限额、文件系统读写限额、内存使用率和限额、网络报文发送、接收、丢弃速率等等。
-
API Server:收集API Server的性能指标数据,包括控制队列的性能、请求速率和延迟时长等等
-
etcd:收集etcd存储集群的相关指标数据
-
kube-state-metrics:该组件可以派生出k8s相关的多个指标数据,主要是资源类型相关的计数器和元数据信息,包括制定类型的对象总数、资源限额、容器状态以及Pod资源标签系列等。
-
每个被监控的主机都可以通过专用的
exporter
程序提供输出监控数据的接口,并等待Prometheus
服务器周期性的进行数据抓取 -
如果存在告警规则,则抓取到数据之后会根据规则进行计算,满足告警条件则会生成告警,并发送到
Alertmanager
完成告警的汇总和分发 -
当被监控的目标有主动推送数据的需求时,可以以
Pushgateway
组件进行接收并临时存储数据,然后等待Prometheus
服务器完成数据的采集 -
任何被监控的目标都需要事先纳入到监控系统中才能进行时序数据采集、存储、告警和展示
-
监控目标可以通过配置信息以静态形式指定,也可以让Prometheus通过服务发现的机制进行动态管理
二、在k8s中部署Prometheus
2.1 下载部署Prometheus所需资源
在网络状况好的情况下,可以直接用helm获取:
#在helm中添加Prometheus仓库
[root@k8s-master helm]# helm repo add prometheus-community https://prometheus-community.github.io/helm-charts
"prometheus-community" has been added to your repositories
#下载Prometheus项目
[root@k8s-master helm]# helm pull prometheus-community/kube-prometheus-stack
[root@k8s-master helm]# ls
kube-prometheus-stack-62.6.0.tgz
#解压项目包
[root@k8s-master helm]# tar zxf kube-prometheus-stack-62.6.0.tgz
[root@k8s-master helm]# ls
kube-prometheus-stack kube-prometheus-stack-62.6.0.tgz
[root@k8s-master helm]# cd kube-prometheus-stack/
[root@k8s-master kube-prometheus-stack]# ls
Chart.lock charts Chart.yaml CONTRIBUTING.md README.md templates values.yaml
#根据所有项目中的values.yaml中指定的image路径下载容器镜像并上传至harbor仓库
[root@k8s-master ~]# mkdir Prometheus
[root@k8s-master ~]# cd Prometheus/
[root@k8s-master Prometheus]# ls
grafana-11.2.0.tar kube-state-metrics-2.13.0.tar nginx-exporter-1.3.0-debian-12-r2.tar prometheus-62.6.0.tar
kube-prometheus-stack-62.6.0.tgz nginx-18.1.11.tgz node-exporter-1.8.2.tar
[root@k8s-master Prometheus]#
[root@k8s-master kube-prometheus-stack]# vim values.yaml
imageRegistry: "reg.timingding.org"
去valuse.yaml文件中看镜像文件,一个一个下,如果tag没写,就去Chart.yaml文件中去看:
docker pull quay.io/prometheus-operator/admission-webhook:(版本号)
开始拉去镜像并上传仓库:
[root@k8s-master Prometheus]# docker load -i prometheus-62.6.0.tar
[root@k8s-master Prometheus]# docker tag quay.io/prometheus/prometheus:v2.54.1 reg.timingding.org/prometheus/prometheus:v2.54.1
[root@k8s-master Prometheus]# docker tag quay.io/thanos/thanos:v0.36.1 reg.timingding.org/thanos/thanos:v0.36.1
[root@k8s-master Prometheus]# docker tag quay.io/prometheus/alertmanager:v0.27.0 reg.timingding.org/prometheus/alertmanager:v0.27.0
[root@k8s-master Prometheus]# docker tag quay.io/prometheus-operator/admission-webhook:v0.76.1 reg.timingding.org/prometheus-operator/admission-webhook:v0.76.1
[root@k8s-master Prometheus]# docker tag registry.k8s.io/ingress-nginx/kube-webhook-certgen:v20221220-controller-v1.5.1-58-g787ea74b6 reg.timingding.org/ingress-nginx/kube-webhook-certgen:v20221220-controller-v1.5.1-58-g787ea74b6
[root@k8s-master Prometheus]# docker tag quay.io/prometheus-operator/prometheus-operator:v0.76.1 reg.timingding.org/prometheus-operator/prometheus-operator:v0.76.1
[root@k8s-master Prometheus]# docker tag quay.io/prometheus-operator/prometheus-config-reloader:v0.76.1 reg.timingding.org/prometheus-operator/prometheus-config-reloader:v0.76.1
[root@