prometheus WAL log samples: log series: write /data/wal/000025: file already closed

原创

已于 2023-01-11 09:41:46 修改 · 371 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#prometheus #kubernetes #docker

于 2022-12-24 11:29:36 首次发布

在Kubernetes(K8s)环境中使用Helm部署Prometheus后，发现所有监控状态为down。检查Prometheus服务器的数据目录，发现数据文件占用大量空间，但配置的retention参数似乎无效，无法按预期调整数据保留时间。根据Red Hat的文档，探讨了如何修改监控数据的保留时间和大小，并引用了GitHub上的相关问题讨论。

k8s helm 部署 prometheus，各个监控都处于 down 的状态

在这里插入图片描述

[root@k8s-master-01 ~]# kubectl exec  -it prometheus-prometheus-server-697cccff9c-qtrf7 -c prometheus-server  sh
kubectl exec [POD] [COMMAND] is DEPRECATED and will be removed in a future version. Use kubectl exec [POD] -- [COMMAND] instead.
/prometheus $ cd /data/
/data $ ls -l
total 1
drwxr-sr-x    3 nobody   nogroup         68 Dec 21 19:00 01GMV0XA1DFQWDT1FJ07QEM55J
drwxr-sr-x    3 nobody   nogroup         68 Dec 22 13:00 01GMWYPT7WXCFBSRPYYDXS0K2X
drwxr-sr-x    3 nobody   nogroup         68 Dec 23 07:00 01GMYWGDDA8EG7T8K7FP9C7WD0
drwxr-sr-x    3 nobody   nogroup