k8s关于Orphaned pod ＜pod_id＞ found，volume paths are still present on disk 的解决方法

最新推荐文章于 2025-06-12 10:19:31 发布

Linux丶晨星

最新推荐文章于 2025-06-12 10:19:31 发布

阅读量1.6k

点赞数

CC 4.0 BY-SA版权

分类专栏：云计算 k8s docker容器文章标签： kubernetes docker linux

本文链接：https://blog.youkuaiyun.com/qq_37242520/article/details/121891119

云计算同时被 3 个专栏收录

26 篇文章

订阅专栏

k8s

15 篇文章

订阅专栏

docker容器

7 篇文章

订阅专栏

本文档描述了在Kubernetes(k8s)集群中，由于节点意外关机导致Pod异常终止，进而产生孤儿Pod的问题。在系统日志中发现持续报错，指出孤儿Pod的Volume路径仍在磁盘上。通过检查Pod的etc-hosts文件确认已无对应实例运行，因此直接删除Pod目录以解决告警。虽然此操作可能存在数据丢失风险，但对无状态服务通常无影响。完成清理后，告警日志停止刷屏。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

问题描述
因k8s节点异常关机导致启动后业务Pod重新部署，关机之前的Pod状态已被删除，今天在查看日志时发现在异常关机之前的集群节点Pod是非正常移除的，一直刷报错信息；如下：

问题排查
查看系统日志/var/log/messages发现一直在刷kubectl服务的以下的报错,从错误信息可以看到，这台节点存在一个孤儿Pod,并且该Pod挂载了数据卷(volume)，阻碍了Kubelet对孤儿Pod正常的回收清理。

[root@sss-010xl-n02 ~]# tail -3 /var/log/messages
Dec 12 17:50:17 sss-010xl-n02 bash[470923]: user=root,ppid=454652,from=,pwd=/var/lib/kubelet/pods,command:20211212-175006: ll
Dec 12 17:55:15 sss-010xl-n02 kubelet: E1212 17:55:15.645612    2423 kubelet_volumes.go:154] Orphaned pod "aad90ab1-2f04-11ec-b488-b4055dae3f29" found, but volume paths are still present on disk : There were a total of 1 errors similar to this. Turn up verbosity to see them.
Dec 12 17:55:15 sss-010xl-n02 kubelet: E1212 17:55:15.645612    2423 kubelet_volumes.go:154] Orphaned pod "aad90ab1-2f04-11ec-b488-b4055dae3f29" found, but volume paths are still present on disk : There were a total of 1 errors similar to this. Turn up verbosity to see them.

通过pod_id号,进入kubelet的目录,可以发现里面装的是容器的数据,etc-hosts文件中还保留着Pod_name

[root@sss-010xl-n02 ~]# cd /var/lib/kubelet/pods/aad90ab1-2f04-11ec-b488-b4055dae3f29
[root@sss-010xl-n02 pods]# cd aad90ab1-2f04-11ec-b488-b4055dae3f29/
[root@sss-010xl-n02 aad90ab1-2f04-11ec-b488-b4055dae3f29]# ll
total 4
drwxr-x--- 3 root root  30 Dec 10 15:54 containers
-rw-r--r-- 1 root root 230 Dec 10 15:54 etc-hosts
drwxr-x--- 3 root root  37 Dec 10 15:54 plugins
drwxr-x--- 5 root root  82 Dec 10 15:54 volumes
drwxr-x--- 3 root root  49 Dec 10 15:54 volume-subpaths
[root@sss-010xl-n02 7e1a3af8-598e-11ec-b488-b4055dae3f29]# cat etc-hosts 
# Kubernetes-managed hosts file.
127.0.0.1       localhost
::1     localhost ip6-localhost ip6-loopback
fe00::0 ip6-localnet
fe00::0 ip6-mcastprefix
fe00::1 ip6-allnodes
fe00::2 ip6-allrouters
172.30.128.2    sss-wanted-010xl-5945fb4885-7gz85	\\被孤立的Pod

解决问题
首先通过etc-hosts文件的pod_name发现已经没有相关的实例在运行了，所以直接删除pod的目录即可

[root@sss-010xl-n02 7e1a3af8-598e-11ec-b488-b4055dae3f29]# cd ..
[root@sss-010xl-n02 pods]# rm -rf 7e1a3af8-598e-11ec-b488-b4055dae3f29/

网上看其他人的博客都说这个方法有一定的危险性，还不确认是否有数据丢失的风险，如果可以确认，再执行；如果是无状态服务，一般没有问题。

再去查看日志，就不会再刷这样的告警日志了