k8s关于Orphaned pod ＜pod_id＞ found，volume paths are still present on disk 的解决方法

最新推荐文章于 2025-06-12 10:19:31 发布
最新推荐文章于 2025-06-12 10:19:31 发布
阅读量1.6k 收藏 2
点赞数
CC 4.0 BY-SA版权
分类专栏： 云计算 k8s docker容器 文章标签： kubernetes docker linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_37242520/article/details/121891119
本文档描述了在Kubernetes(k8s)集群中，由于节点意外关机导致Pod异常终止，进而产生孤儿Pod的问题。在系统日志中发现持续报错，指出孤儿Pod的Volume路径仍在磁盘上。通过检查Pod的etc-hosts文件确认已无对应实例运行，因此直接删除Pod目录以解决告警。虽然此操作可能存在数据丢失风险，但对无状态服务通常无影响。完成清理后，告警日志停止刷屏。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

问题描述
因k8s节点异常关机导致启动后业务Pod重新部署，关机之前的Pod状态已被删除，今天在查看日志时发现在异常关机之前的集群节点Pod是非正常移除的，一直刷报错信息；如下：

问题排查
查看系统日志/var/log/messages发现一直在刷kubectl服务的以下的报错,从错误信息可以看到，这台节点存在一个孤儿Pod,并且该Pod挂载了数据卷(volume)，阻碍了Kubelet对孤儿Pod正常的回收清理。

[root@sss-010xl-n02 ~]# tail -3 /var/log/messages
Dec 12 17:50:17 sss-010xl-n02 bash[470923]: user=root,ppid=454652,from=,pwd=/var/lib/kubelet/pods,command:20211212-175006: ll
Dec 12 17:55:15 sss-010xl-n02 kubelet: E1212 17:55:15.645612    2423 kubelet_volumes.go:154] Orphaned pod "aad90ab1-2f04-11ec-b488-b4055dae3f29" found, but volume paths are still present on disk : There were a total of 1 errors similar to this. Turn up verbosity to see them.
Dec 12 17:55:15 sss-010xl-n02 kubelet: E1212 17:55:15.645612    2423 kubelet_volumes.go:154] Orphaned pod "aad90ab1-2f04-11ec-b488-b4055dae3f29" found, but volume paths are still present on disk : There were a total of 1 errors similar to this. Turn up verbosity to see them.

通过pod_id号,进入kubelet的目录,可以发现里面装的是容器的数据,etc-hosts文件中还保留着Pod_name

[root@sss-010xl-n02 ~]# cd /var/lib/kubelet/pods/aad90ab1-2f04-11ec-b488-b4055dae3f29
[root@sss-010xl-n02 pods]# cd aad90ab1-2f04-11ec-b488-b4055dae3f29/
[root@sss-010xl-n02 aad90ab1-2f04-11ec-b488-b4055dae3f29]# ll
total 4
drwxr-x--- 3 root root  30 Dec 10 15:54 containers
-rw-r--r-- 1 root root 230 Dec 10 15:54 etc-hosts
drwxr-x--- 3 root root  37 Dec 10 15:54 plugins
drwxr-x--- 5 root root  82 Dec 10 15:54 volumes
drwxr-x--- 3 root root  49 Dec 10 15:54 volume-subpaths
[root@sss-010xl-n02 7e1a3af8-598e-11ec-b488-b4055dae3f29]# cat etc-hosts 
# Kubernetes-managed hosts file.
127.0.0.1       localhost
::1     localhost ip6-localhost ip6-loopback
fe00::0 ip6-localnet
fe00::0 ip6-mcastprefix
fe00::1 ip6-allnodes
fe00::2 ip6-allrouters
172.30.128.2    sss-wanted-010xl-5945fb4885-7gz85	\\被孤立的Pod

解决问题
首先通过etc-hosts文件的pod_name发现已经没有相关的实例在运行了，所以直接删除pod的目录即可

[root@sss-010xl-n02 7e1a3af8-598e-11ec-b488-b4055dae3f29]# cd ..
[root@sss-010xl-n02 pods]# rm -rf 7e1a3af8-598e-11ec-b488-b4055dae3f29/

网上看其他人的博客都说这个方法有一定的危险性，还不确认是否有数据丢失的风险，如果可以确认，再执行；如果是无状态服务，一般没有问题。

再去查看日志，就不会再刷这样的告警日志了

K8S故障排查指南- but volume paths are still present on disk
myy1066883508的博客
06-29 2366
问题产生 在使用 Kubernetes 时，有时会遇到 Pod 状态一直处理 Terminating。Pod 一直没有正常退出，一般情况会使用命令 kubectl delete pods pod-name --force --grace-period=0 强制删除。 如果按照上面命令强制删除Pod，有一定概率会报 Orphaned pod found - but volume paths are still present on disk 错误。 问题排查 上面错误信息可以通过 journalctl -u
k8s 查看pod uuid_【Kubernetes】k8s 的基本使用指令
weixin_42131013的博客
01-13 5054
今天分享如题：Kubernetes//// ////最近更新缓慢由于工作太忙惹，忙里偷闲整理愿能与君共勉?K8S对我来说是个新的技术栈，程序员就是需要一直充电?加油，一起进步?结构模型k8s 是经典的一对多模型，有一个主要的管理节点master和许多的工作节点slaver。当然，k8s 也可以配置多个管理节点，拥有两个以上的管理节点被称为高可用。k8s 包括了许多的组件，每个组件...
Orphaned pod found - but volume paths are still present on disk的处理
任我行的博客
12-04 480
一个问题发现集群内节点非正常移除，被调度为not ready查看kubelet日志 通过id号,进入kubelet的目录,可以发现里面装的是容器的数据,etc-hosts文件中还保留着podname 通过搜索相关的信息也有相关的问题: 首先通过etc-hosts文件的pod name 发现已经没有相关的实例在运行了，然后按照issue中的提示，删除pod 但是这个方法有一定的危险性，还不确认是否有数据丢失的风险，如果可以确认，再执行。或在issue中寻找更好的解决方法。再去查看日志，就会发现syslog不会
基于 Containerd 容器 ID 反查 Kubernetes Pod 信息的实战技巧
weixin_38320674的博客
06-12 824
在使用 Kubernetes 集群进行日常运维过程中，我们有时会遇到系统层（如宿主机）出现异常、容器资源使用异常或进程级别问题（如 PID 占用、容器进程 crash 等）。本文将基于一个实战案例，讲解如何从 containerd 容器 ID 出发，反查对应的 Kubernetes Pod，做到问题定位与分析闭环。掌握此技巧可以帮助运维工程师快速闭环问题定位，尤其在只掌握容器 ID 时，极大地提升了排障效率。掌握此技巧可以帮助运维工程师快速闭环问题定位，尤其在只掌握容器 ID 时，极大地提升了排障效率。
K8S-OrphanedPod清理脚本
xyclianying的博客
09-02 988
清理节点中孤儿pod 原因 公司一直使用的1.13版本k8s，经常会出现pod删除后，目录未清理的情况产生日志报错 孤儿pod越来越多，浪费的磁盘空间无法释放，且报警日志error数过多 解决方案 编写了以下脚本并添加crontab实现自动解决该问题。 #!/bin/bash #worker节点孤儿pod处理 >/tmp/orphanedMount.txt && >/tmp/orphanedPod.txt IFS=$'\n' #设置默认分隔符 echo `date`
k8s pod id
weixin_40984138的博客
07-12 359
Kubernetes (K8s) 是一个开源的容器编排平台，它管理着大规模的容器化应用程序。在Kubernetes中，Pod是最小的可部署单元，是一组运行在同一主机上的容器集合。本文将向小白开发者详细讲解如何获取Kubernetes Pod的唯一标识符（ID），并提供相应的代码示例。1. 实现"K8s Pod ID"的整体...
K8S——Pod详解
02-06 586
1Pod生命周期 Pod遵循定义的生命周期，从该Pending 阶段开始，Running 阶段其主容器中至少有一个开始运行OK，Succeeded或 Failed阶段,根据Pod中的任何容器是否以失败终止。 1.1 Pod生命状态含义 1.1.1 Pending 该Pod已被Kubernetes集群接受，但是尚未设置一个或多个容器并使其可以运行。这包括Pod等待排定所花费的时间，以及通过网络下载容器映像所花费的时间。 1.1.2 Running Pod已绑定到一个节点，并且所有容器都已创建。至少一个容器仍在
k8s根据进程号获取pod名称
lx_1314的博客
03-23 1221
k8s根据进程号获取pod名称
k8s笔记2----pod详解
weixin_42765975的博客
05-19 1063
参考 1.pod容器 1.一个Pod中运行一个容器。"每个pod中一个容器"的模式是最常见的用法 2.在一个Pod中同时运行多个容器。一个Pod中也可以同时封装几个需要紧密耦合互相协作的容器，它们之间共享资源。这些在同一个Pod中的容器可以互相协作成为一个service单位。 2.pause容器 k8s解决同一个pod的所有容器共享资源问题 一个Pod下的容器必须运行于同一节点上。现代容器技术建议一个容器只运行一个进程，该进程在容器中PID命令空间中的进程号为1，可直接接收并处理信号，进程终止时容器生命周期
玩转k8s：Pod详解
duansamve的博客
03-15 3463
这里是Pod内部的通讯，Pod的之间的通讯采用虚拟二层网络技术来实现，我们当前环境用的是Flannel。本小节主要来研究pod.spec.containers属性，这也是pod配置中最为关键的一项配置。如果镜像tag为：latest（最终版本） ，默认策略是always。如果镜像tag为具体版本号， 默认策略是：IfNotPresent。5.1.1 Pod结构。5.1.2 Pod定义。5.2.1 基本配置。5.2.2 镜像拉取。
K8S pod 学习
热门推荐
天码行空的码的博客
06-26 1万+
1、何时在pod 中使用多个容器 ？ 将多个容器添加到单个pod的主要原因是应用可能有一个主进程和一个或多个辅进程组成. 2、将两个或者N个容器放到一个pod 中还是独立pod中，我们需要思考下面问题。 它们需要一起运行还是可以在不同的主机上运行 ？ 它们代表的是一个整体还是相互独立的组件？ 它们必须一起进行扩展还是可以分别进行？ 3、原则： 尽管可以将...
kubelet残留孤儿pod(Orphaned pod)无法删除
任我行的博客
04-13 2237
记录kubelet残留孤儿pod(Orphaned pod)无法删除的问题分析和解决方法。
kubelet报错：Orphaned pod “$Pod“ found, but volume paths are still present on disk
爱吃鱼的小明的博客
06-15 989
1.场景： 容器一直处在 ContainerCreating状态 $ kubectl get pod -n liantiao | grep pushserver pushserver-69cc66c679-tx2pg 1/1 Running 0 98d pushserver-76675b6d94-kqh25 0/1 ContainerCreating 0 56m
4. K8S基础系列篇(4) 深入掌握Pod管理
liyuanjie的博客
01-13 1010
深入掌握Pod管理 1. Pod模板定义 2. Pod生命周期管理 3. Pod健康检查
kubelet 报错： Orphaned pod found - but volume paths are still present on disk
可可飞扬的博客
04-10 6220
kubelet_volumes.go:128] Orphaned pod "86d60ee9-9fae-11e8-8cfc-525400290b20" found, but volume paths are still present on disk. : There were a total of 1 errors similar to this. Turn up verbosity to ...
rook 排错记录 + Orphaned pod found kube-controller-manager的日志输出
weixin_30793643的博客
11-15 387
1.查看rook-agent(重要)和mysql-wordpress 的日志，如下： MountVolume.SetUp failed for volume "pvc-f002e1fe-469c-11e8-9dca-90b8d0599f2f" : mount command failed, status: Failure, reason: Rook: Error getting RPC clie...
Kubernetes Volume SubPath
来啊 快活啊
08-13 2220
apiVersion: apps/v1beta2 kind: Deployment metadata: namespace: ci name: gitlab spec: selector: matchLabels: app: gitlab replicas: 1 template: metadata: labels: ap...
"There were many similar errors. Turn up verbosity to see them." err="orphaned pod \"
最新发布
07-31
<think>我们正在排查Flannel集成Cilium后出现的Pod无法互通以及日志中出现"orphaned pod"错误的问题。根据之前的讨论，这通常是由于多个CNI插件冲突引起的。以下将结合用户提供的引用信息和实际排查步骤进行分析。 ### 问题分析 1. **CNI插件冲突**：Flannel和Cilium都是CNI插件，同时存在会导致网络配置冲突（如IPAM、路由规则等）。 2. **orphaned pod错误**：该错误通常发生在kubelet认为Pod已被调度到节点，但无法正确配置网络时。可能原因包括： - CNI插件配置错误 - 节点网络命名空间残留旧配置 - 多个CNI配置文件导致kubelet选择错误 ### 排查步骤 #### 1. 检查CNI配置文件（关键步骤） ```bash # 查看节点上的CNI配置文件 ls /etc/cni/net.d/ ``` - **正常情况**：应只有一个主CNI配置文件（如`10-flannel.conflist`或`05-cilium.conf`）。 - **异常情况**：同时存在Flannel和Cilium的配置文件（如`10-flannel.conflist`和`05-cilium.conf`），需删除其中一个。 #### 2. 检查kubelet日志 ```bash journalctl -u kubelet | grep -iE "cni|flannel|cilium|orphan" ``` 重点关注以下错误模式： - `error setting up network for pod ...: CNI network not ready` → CNI插件未就绪 - `orphaned pod "<pod-id>" found but volume paths are still present` → 卷清理失败导致Pod残留 - `multiple CNI configurations` → 检测到多个CNI配置 #### 3. 验证CNI插件状态 - **Flannel状态检查**： ```bash kubectl get pods -n kube-system -l app=flannel kubectl logs <flannel-pod> -n kube-system ``` - **Cilium状态检查**： ```bash cilium status # 若cilium CLI未安装，使用以下命令 kubectl exec -n kube-system <cilium-pod> -- cilium status ``` #### 4. 检查节点网络配置 ```bash # 查看路由表 ip route show # 检查网卡配置 ip link show | grep -E &#39;cilium|flannel|cni0&#39; ``` - **异常迹象**： - 路由目标重复（如`10.244.0.0/16`同时指向`cni0`和`cilium_host`） - Flannel的`flannel.1`或Cilium的`cilium_host`网卡缺失 #### 5. 解决orphaned pod错误 该错误通常因Pod被删除后kubelet无法清理网络导致： 1. **手动清理残留Pod**： ```bash # 删除kubelet中的orphaned pod sudo rm -rf /var/lib/kubelet/pods/<orphaned-pod-id> ``` 2. **重启kubelet**： ```bash systemctl restart kubelet ``` ### 解决方案 #### 方案一：完全移除其中一个CNI（推荐） ```bash # 移除Flannel kubectl delete -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml # 移除Cilium helm uninstall cilium -n kube-system ``` #### 方案二：使用Cilium的Flannel兼容模式（混合部署） ```bash helm upgrade cilium cilium/cilium --version 1.14.3 \ --namespace kube-system \ --reuse-values \ --set flannel.enabled=true \ --set flannel.install=false \ # 若已安装Flannel则设为false --set tunnel=disabled \ --set ipam.mode=kubernetes ``` #### 方案三：修复网络冲突（高级） 1. **统一PodCIDR**： - 确保Flannel和Cilium使用相同的Pod网段（如`10.244.0.0/16`） 2. **放行VXLAN流量**： ```yaml # cilium-networkpolicy-allow-flannel.yaml apiVersion: cilium.io/v2 kind: CiliumNetworkPolicy metadata: name: allow-flannel-vxlan spec: endpointSelector: {} ingress: - fromEndpoints: - {} toPorts: - ports: - port: "8472" protocol: UDP ``` ### 验证修复 ```bash # 创建测试Pod kubectl run test-pod --image=nginx --restart=Never kubectl run target-pod --image=nginx --restart=Never # 检查跨Pod通信 kubectl exec test-pod -- curl $(kubectl get pod target-pod -o jsonpath=&#39;{.status.podIP}&#39;) ``` ### 引用说明 用户提供的引用[1]提到"某些情况下不想让Node承担创建带IP Pod的工作"，这提示我们： - 如果某些节点（如master）未分配PodCIDR，可能导致Flannel无法正常工作[^1]。 - 引用[2]中的调度器代码片段说明Pod调度依赖`pod.Spec.NodeName`的正确设置[^2]，若网络插件冲突导致Pod无法绑定到节点，也可能引发orphaned错误。 --- §§ 相关问题 §§ 1. 如何为Kubernetes master节点设置污点以禁止调度普通Pod？ 2. Cilium的Flannel兼容模式实现原理是什么？ 3. Kubernetes中如何彻底清理"orphaned pod"？ [^1]: 节点未分配PodCIDR时，Flannel无法分配IP [^2]: Pod调度依赖`pod.Spec.NodeName`的正确设置</think>### 问题分析：Flannel集成Cilium后Pod无法互通并出现"orphaned pod"错误 #### 核心原因 1. **CNI插件冲突** Flannel和Cilium同时管理网络会导致： - IP地址管理（IPAM）冲突（Flannel默认使用`10.244.0.0/16`，Cilium常用`10.0.0.0/8`） - 路由规则互相覆盖（如Flannel的`cni0`和Cilium的`cilium_host`网卡冲突） - **orphaned pod错误**：因CNI配置冲突导致Pod网络配置残留[^1] 2. **调度器与网络插件不协调** - 当节点未分配PodCIDR时（如master节点），Flannel无法创建带IP的Pod[^1] - 调度器将Pod标记为`Scheduled`后，网络插件未能完成IP分配[^2] 3. **资源清理失败** `orphaned pod`错误表明kubelet检测到： - 已删除Pod的卷/网络配置残留 - CNI插件未正确释放veth设备或IP地址 --- ### 排查步骤 #### 1. 检查CNI配置冲突 ```bash # 查看生效的CNI配置文件 ls /etc/cni/net.d/ # 检查配置文件内容 cat /etc/cni/net.d/*.conf* | grep -E &#39;type|name&#39; ``` - **危险信号**：同时存在`flannel`和`cilium`的配置类型 - **解决方案**：删除非主CNI的配置文件（保留一个） #### 2. 分析orphaned pod日志 ```bash journalctl -u kubelet | grep "orphaned pod" -A 20 ``` 典型错误模式： ``` orphaned pod <pod-id> found but volume paths still present orphaned pod <pod-id> found but cni config not released ``` #### 3. 验证节点网络状态 ```bash # 检查路由表冲突 ip route show | grep -E &#39;cni0|cilium&#39; # 检查IP分配 kubectl get nodes -o jsonpath=&#39;{range .items[*]}{.metadata.name}{"\t"}{.spec.podCIDR}{"\n"}{end}&#39; ``` - **关键点**：未分配PodCIDR的节点无法运行Flannel Pod[^1] #### 4. 检查Cilium-Flannel集成模式 ```bash kubectl -n kube-system get cm kube-flannel-cfg -o yaml | grep Backend ``` - **必须配置**：Flannel应使用Cilium作为后端 ```yaml net-conf.json: | { "Network": "10.244.0.0/16", "Backend": { "Type": "cilium" } # 关键配置[^2] } ``` #### 5. 排查资源残留 ```bash # 检查残留网络设备 ip link show | grep veth # 强制清理orphaned pod sudo rm -rf /var/lib/kubelet/pods/<orphaned-pod-id>/* ``` --- ### 解决方案 #### 方案1：纯Cilium模式（推荐） ```bash # 卸载Flannel kubectl delete -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml # 安装Cilium（启用IPAM） helm install cilium cilium/cilium \ --namespace kube-system \ --set ipam.mode=kubernetes ``` #### 方案2：正确配置混合模式 ```bash helm upgrade cilium cilium/cilium \ --namespace kube-system \ --reuse-values \ --set flannel.enabled=true \ --set flannel.install=false \ # 使用已存在的Flannel --set tunnel=disabled \ --set ipv4NativeRoutingCIDR=10.244.0.0/16 # 匹配Flannel网段 ``` #### 方案3：修复orphaned pod错误 ```bash # 重启kubelet并清理残留 sudo systemctl stop kubelet sudo rm -rf /var/lib/cni/* sudo rm -rf /etc/cni/net.d/* sudo systemctl start kubelet ``` --- ### 验证修复 ```bash # 创建测试Pod kubectl run test-pod --image=nginx --restart=Never # 检查网络状态 kubectl get pod test-pod -o jsonpath=&#39;{.status.podIP}{"\n"}&#39; ``` **成功标志**：获得有效IP且无`orphaned pod`日志 > **关键提示**：混合模式需要严格匹配Flannel和Cilium的PodCIDR。生产环境建议迁移到纯Cilium方案以获得eBPF性能优势[^2]。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值