k8s集成prometheus报错：err=“log series: open /prometheus/wal: no such file or directory“

最新推荐文章于 2025-08-26 15:08:39 发布
原创 最新推荐文章于 2025-08-26 15:08:39 发布 · 1.7k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#运维 #容器

本文详细记录了一次Prometheus监控系统中出现的nosuchfileordirectory错误的排查与解决过程，涉及pod日志分析、数据目录处理、磁盘挂载目录问题及k8s组件重启步骤。

问题排查：
在这里插入图片描述
分别查看pod日志：prometheus-k8s-0以及prometheus-operator-78bd98fc99-bmkbq
经查：prometheus-k8s-0日志显示 err=“log series: open /prometheus/wal: no such file or directory”
k logs prometheus-k8s-0 -n monitoring -c prometheus -f
在这里插入图片描述
查看 journalctl -f -u kubelet 日志报错：remove xxx : device or resource busy
在这里插入图片描述
分析有可能是由于数据损坏导致pod不能对数据目录进行更改操作导致。
尝试解决办法：
1、直接手动删除或者移除数据目录
2、查找数据目录进程，杀掉进程后，手动移除数据目录
办法一解决步骤：
找到数据目录，查看数据目录下是否存在数据：

#此路径为公司内部环境还原客户环境测试过程中产生
ll /data/381/k8s/lib/kubelet/pods/d8a23fa5-98ea-11ea-b346-52540018083f_bak02/volume-subpaths/p
最低0.47元/天 解锁文章
Rancher - 打开存储失败：块打开 /prometheus/meta.json：没有该文件或目录
CyberJolt的博客
09-16 367
的文件时，出现了 “no such file or directory” 的错误。在本文中，我们将讨论可能导致此错误的原因，并提供一些可能的解决方案。如果文件确实丢失，您可以尝试从备份中恢复文件，或根据您的需求重新创建文件。文件系统问题：如果您的文件系统出现问题，也可能导致该错误。确认文件是否位于指定的位置。如果存储配置存在问题，您可以尝试更新Rancher的配置，并指定正确的存储路径。如果您希望提供更多上下文或特定的配置细节，我可以为您提供更具体的帮助。确保文件的权限设置正确，并且您具有适当的读取权限。
K8S集群报错check that the calico/node container is running and has mounted /var/lib/calico/
江晓龙的博客
07-04 2703
报错内容如下： 解决方法： 这是由于集群没有安装calico组件导致的，calico正常启动后，重启该pod，问题解决
Prometheus 实战：K8s 部署、Grafana 集成与监控实践全记录
2302_77791905的博客
08-26 976
本文详细介绍了在Kubernetes集群中部署Prometheus监控系统的完整流程。首先阐述了Prometheus的核心架构和组件功能，包括各类exporter的作用机制。然后通过Helm charts方式完成kube-prometheus-stack的部署，涵盖安装步骤、常见问题解决和组件验证。重点说明了Grafana的可视化配置，包括密码获取、服务暴露和仪表盘导入。最后以Nginx应用为例，演示了如何配置ServiceMonitor实现应用指标采集，并通过压力测试验证监控效果。整个过程展示了从系统部署
Rancher入门到精通-2.0 pening storage failed: block open /prometheus/meta.json: no such file or directory"
隔壁老瓦的专栏
03-18 2230
pening storage failed: block dir \"/prometheus/01E3HPW50HT1M5SA810WNFEJAB\": open /prometheus/01E3HPW50HT1M5SA810WNFEJAB/meta.json: no such file or directory" rancher 启动prometheus后，一段时候后启动不了 关闭监控...
k8s:open /run/flannel/subnet.env: no such file or directory
fengcy的博客
10-23 3057
k8s第一次部署pod的时候出现一个问题，pod一直处于containercreating的状态。发现一个报错，不存在/run/flannel/subnet.env文件。编辑之后删除pod，重新部署一下。
k8s编译 dlfcn.h : No such file or directory 解决
12-27 2648
ubuntu编译k8s时报错，安装 gcc g++即可解决如下报错。 vendor/github.com/mindprince/gonvml/bindings.go:22:10: fatal error: dlfcn.h: No such file or directory 22 | #include <dlfcn.h> | ^~~~~~~~~ compilation terminated. !!! [1227 16:31:38] Call tree: !!...
prometheus WAL log samples: log series: write /data/wal/000025: file already closed
qq_15138049的博客
12-24 365
prometheus
"opening storage failed: repair corrupted WAL: cannot handle error: open WAL segment: 938: open /data/prometheus/prometheus/data/wal/00000938: no such file or directory"
最新发布
10-31
no such file or directory`），可以尝试以下方法解决： ### 检查文件权限 确保 Prometheus 进程有足够的权限访问 WAL 文件目录。若权限不足，可能会出现文件无法打开的错误。可以使用以下命令修改目录权限： ```...
【Docker】Docker 启动prometheus报错 parsing YAML file /etc/prometheus/prometheus.yml: yaml: unmarshal
九师兄
07-01 5048
1.背景 本地docker 安装prometheus，然后启动，报错如下 (base) lcc@lcc grafana-storage$ docker logs 790f84fb094904a96b8d16ce808bdee20ecdd7e40c875f4cf2b659d61efc68ac level=info ts=2020-05-12T00:55:58.114Z caller=main.go:302 msg="No time or size retention was set so using the.
Prometheus打开缓慢问题解决方案：避免Too many open files错误
漠效的博客
10-14 4125
前言 某天当prometheus添加到大致2500个指标(Targets)时,prometheus开始出现了打开缓慢,偶尔会挂掉的现象.于是进行了一些调优. 在prometheus中 一 单个进程打开文件句柄数过多 ulimit中的nofile表示单进程可以打开的最大文件句柄数，可以通过ulimit -a查看，子进程默认继承父进程的限制（注意，是继承，不是共享，子进程和父进程打开的文件句柄数是单独算的）。 网上还有一种解读是nofile表示单用户可以打开的文件句柄数，因为他们在limit.conf
解决k8s集群环境 容器组 报 network: open /run/flannel/subnet.env: no such file or directory
热门推荐
roxxo的博客
03-26 1万+
k8s集群环境 由于机器显卡故障，导致节点连接失败，出现大量1000多个 pending 容器， 查看容器 容器组里 报 network is not ready: [runtime network not ready: NetworkReady=false reason:NetworkPluginNotReady message:docker: network plugin i...
【K8S】HAproxy安装报错fatal error: openssl/bn.h: No such file or directory
weixin_43346403的博客
07-15 477
Linux:centos8.4, 安装包里面没有openssl-devel;1.haproxy安装报错如下。
failed: open /etc/resolv.conf: no such file or directory“ cause k8s init failed
喝醉酒的小白
04-06 2098
【代码】failed: open /etc/resolv.conf: no such file or directory“ cause k8s init failed。
容器挂载prometheus报错err=“open prometheus.yml: no such file or directory”
msksn的博客
04-09 415
出现问题背景：在启用容器化部署 prometheus时，使用挂载并docker run 出现报错报错提示:msg=“Error loading config (–config.file=prometheus.yml)” file=/prometheus/prometheus.yml err=“open prometheus.yml: no such file or directory”排查问题： 使用lsof -i:9090 发现该端口未被启用。
GlusterFS:No such file or directory
lin_FS的专栏
07-16 3549
http://hi.baidu.com/itaolei/item/9cf7dd3ed1792b0eceb9fe9c 解决 error while loading shared libraries: libglusterfs.so.0: No such file or directory Download the software package glusterfs 3.04 ****.de
k8s镜像服务启动报错exec user process caused “no such file or directory
猿猿不断的博客
11-27 1230
自己构建的镜像启动docker容器，直接退出，查看容器日志报错信息，没有任何别的信息。 原因：window下创建shell脚本，copy至docker镜像中，镜像是基于linux系统的，由于windows和linux对换行对应的转移符处理的不同，导致报此异常 解决方法： 将文件转为unix格后再次将镜像推送到docker即可 ...
prometheus启动报错：“Error loading config (--config.file=/etc/prometheus/config_out/prometheus.env.yaml)“
小诸葛的博客
10-11 1283
prometheus启动报错，报错内容如下：解决方法：Prometheus 报错信息表明在解析文件时遇到了无效的持续时间格式"51"。10s5m1h在这个错误中，配置文件中的某个字段被设置为了无效的值"51"，但缺少单位。
【云原生】prometheus报错排查
zlb15250644563的博客
03-22 710
百度了下说是"Tombstones header: invalid size" 这个错误信息通常与 Prometheus 的数据块（block）或墓碑文件（tombstone file）的头部大小不正确有关。在 Prometheus 中，墓碑文件是用来标记那些已经从磁盘中删除或清理的数据块的，以避免在重新启动时重新处理这些旧数据。进入到对应节点所配置的存储目录/data，进入01HRVMTHEGRSGZZXV7A239KRNG文件，也没有查出什么问题，磁盘空间也是正常的。
No such file or directory原因及方案
m0_72760405的博客
07-29 1万+
No such file or directory原因及方案
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值