2021-06-26 calico-node-xxx pod 状态反复CrashLoopBackOff

最新推荐文章于 2025-09-27 15:51:36 发布
原创 最新推荐文章于 2025-09-27 15:51:36 发布 · 2.6k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#k8s #calico

本文记录了在k8s集群中遇到的calico-node Pod状态反复出现CrashLoopBackOff的问题。通过检查pod event、logs及节点端口占用，发现127.0.0.1:9099端口冲突。尝试kill相关进程，但效果不明显。进一步检查kubelet和containerd状态后，最终通过删除并重建calico-node容器解决了问题，恢复正常运行。 
[root@k8s-master ~]# kubectl get pods -n kube-system -owide
NAME                                       READY   STATUS             RESTARTS   AGE    IP               NODE         NOMINATED NODE   READINESS GATES
calico-kube-controllers-7f4f5bf95d-pvvt9   1/1     Running            26         16d    10.244.169.129   k8s-node2    <none>           <none>
calico-node-6qcv4                          1/1     Running            1          16d    192.168.32.171   k8s-master   <none>           <none>
calico-node-dncv8                          1/1     Running            1          16d    192.168.32.173   k8s-node2    <none>           <none>
calico-node-sgkn2                          0/1     CrashLoopBackOff   80         16d    192.168.32.172   k8s-node1    <none>           <none>
coredns-7f89b7bc75-2cf7q                   1/1     Running            0          16d    10.244.36.74     k8s-node1    <none>           <none>
coredns-7f89b7bc75-494l7                   1/1     Running            1          16d    10.244.169.130   k8s-node2    <none>           <none>
etcd-k8s-master                            1/1     Running            1          16d    192.168.32.171   k8s-master   <none>           <none>
kube-apiserver-k8s-master                  1/1     Running            2          16d    192.168.32.171   k8s-master   <none>           <none>
kube-controller-manager-k8s-master         1/1     Running            0          133m   192.168.32.171   k8s-ma
最低0.47元/天 解锁文章
启铭
关注
calico状态一直处于CrashLoopBackOff并且报错no valid IPv4 addresses found on the host interfaces
江晓龙的博客
09-21 1848
calico状态一直处于CrashLoopBackOff并且报错no valid IPv4 addresses found on the host interfaces calico pod一致处于CrashLoopBackOff 报错内容如下： [root@k8s-20-49 ~]# kubectl logs -f calico-node-bwqz4 -n kube-system 2021-05-28 06:05:29.621 [INFO][8] startup.go 256: Early log l
calico-kube-controllers 启动失败处理
greenery的专栏
02-21 8866
calico-kube-controllers 启动失败处理
【水文】calico-node 启动失败 Init:CrashLoopBackOff
大健的日常的博客
12-02 1万+
Defaulted container "calico-node" out of: calico-node, upgrade-ipam (init), install-cni (init), mount-bpffs (init) Error from server (BadRequest): container "calico-node" in pod "calico-node-4j7td" is waiting to start: PodInitializing
k8s calico-node 报错：listen tcp 127.0.0.1:9099: bind: address already in use, 原因是runsvdir过于勤快
qdulgh的专栏
08-10 2161
最终发现，后面还有个主谋 runsvdir， 把runsvdir一起kill了，余下的runsv瞬间树倒猢狲散了。发现felix是被runsv 拉起的，但是kill 掉 runsv还是不行。立即就被拉起了，端口一直占着。奇怪的是/usr/local/bin/目录下并没有runsvdir, k8s是怎么做到的？搜索到一句：felix由runsv管理，runsv会重启felix。kill 掉calico-node -felix 立即就会被拉起。
Calico网络插件的工作原理
lrzaiwlh的博客
09-27 865
Calico 作为一个功能全面的 Kubernetes 网络插件，通过 BGP 路由协议实现高效的 Pod 网络互联，并利用 iptables 或 eBPF 实现强大的网络策略控制。其核心优势在于高性能、可扩展性和丰富的安全功能，使其成为企业级 Kubernetes 集群的首选网络方案之一。Calico 的设计理念是将网络视为一个纯粹的 IP 网络，通过标准的路由协议实现通信，这使得它不仅易于理解和排查问题，还能与现有的网络基础设施无缝集成。
一次calico问题排查
qq_44397993的博客
04-22 2760
k8s集群出现一台主机calico重启，无法重新添加路由 当时查看了下kubelet的日志，发现有报错证书无效，查看了集群内其它环境主机，路由都正常，按理说不应该是证书无效才对 开始看下calico的日志，发现有报Liveness probe failed: calico/node is not ready: bird/confd is not live: exit status 1 /BIRD is not ready: Error querying BIRD: unable to connect to.
kubenates启动calico-node时，有节点总是报错CrashLoopBackOff
dkgee
07-03 4955
[root@vm511 ~]# kubectl get pods --all-namespaces -o wide NAMESPACE NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES kube-system calico-node-f4228 2/2.
k8s集群calico-node CrashLoopBackOff
saffronsdas的博客
10-10 1886
k8s集群calico-node CrashLoopBackOff
kubernetes 新增nodes 上的calico-node pod CrashLoopBackOff，log提示 bind: cannot assign requested address
02-08 701
kubernetes 新增nodes 上的calico-node pod CrashLoopBackOff，log提示 [ERROR][100] felix/health.go 392: Health endpoint failed, trying to restart it... error=listen tcp 10.207.36.14:9097: bind: cannot assign requested address
K8S部署calico网络插件有一个calico-node-xxx始终0/1
BOUTTIME的博客
10-28 6555
1、情况是这样的，我在master部署calico网络插件的时候,运行完kubectl apply -f calico.yml后，查看pod运行情况： (base) [root@master opt]# kubectl get pod -A NAMESPACE NAME READY STATUS RESTARTS AGE default nfs-client-provis
Calico-基本安装、IPIP同节点通信和Proxy_ARP实践 Day01
qq_42515722的博客
03-05 1259
本章主要介绍ipip模式。
calico的CrashLoopBackOff 解决办法
之城的专栏
05-30 1万+
今天查看k8s集群的状态发现， calico-node的status是CrashLoopBackOff 。 于是各种查找资料, 现在把解决方法记下。 查看日志 其实k8s的日志记录十分详细，只要查看下日志结合搜索引擎， 很快就能知道问题， 查看问题pod的日志： kubectl logs -f -n kube-system calico-node-wzmz5 -c calico-node 这个命令的日志信息很长， 很多。 直接拉到底部查看最新的日志。 日志中已经说了， linux系统内核的RPF
calico-node的pod实例一直报错重启的问题
qq_41616955的博客
02-18 864
今天从Flannel网络插件换成Calico插件，node1节点上的calico插件无限重启。查看了一下hosts文件，，，，，，不知道啥时候发生了变化，发现是hosts文件出现了问题。查看pod日志发现是53端口连接不上，53端口是dns使用的端口。
问题记录：K8s中安装calico，calico反复重启，原因：版本未匹配
hey_lie的博客
06-07 3818
calico与k8s的版本未匹配。calico应用反复重启，且无错误日志
Kubernetes Pod节点CrashLoopBackOff 状态及解决方案详解【已解决】
热门推荐
颜淡慕潇
10-22 2万+
在 Kubernetes 中，Pod 的状态为 **`CrashLoopBackOff`** 表示某个容器在启动后崩溃，Kubernetes 尝试重启该容器，但由于持续崩溃，重启的间隔时间逐渐增加。下面将详细介绍 `CrashLoopBackOff `状态的原因、解决方案及相关命令的输出解释。
k8s常见问题：如何处理CrashLoopBackOff问题？
分享云原生大数据技术和个人成长、职业发展相关内容
05-07 1万+
首先关于CrashLoopBackOff并不是代表一种错误， "CrashLoopBackOff 是 Kubernetes 中的一个状态，表示在一个 Pod 中发生的重启循环：Pod 中的一个容器启动之后发生了问题，然后反复重启。Kubernetes 会在重启之间等待逐渐增加的退避时间，我们在发现CrashLoopBackOff之后可以对集群进行及时的修复。因此，CrashLoopBackOff 本身并不是一个问题，而是表明有一个错误在发生，阻止了 Pod 正确启动。
pod状态 CrashLoopBackOff
weixin_39833509的博客
08-21 2153
pod的status为CrashLoopBackOff，也可能是防火墙问题 [root@master systemd]# kubectl get pods --all-namespaces NAMESPACE NAME READY STATUS RESTARTS AGE kube-system calico-kube-controllers-58497c65d5-xhfs..
calico-node启动失败，calico/node is not ready: bird/confd is not live
babay550的博客
08-09 7979
calico-node 启动失败
k8s报错Unable to connect to the server: dial tcp: lookup cluster-endpoint on xxx
qq_38838006的博客
02-19 3939
在此要强调一点的是，直接修改/etc/resolv.conf这个文件是没用的，网络服务重启以后会根据/etc/sysconfig /network-scripts/ifcfg-eth0来重载配置，如果ifcfg-eth0没有配置DNS，那么resolv.conf会被冲掉，重新变成空值。/etc/sysconfig /network-scripts/ifcfg-eth0 下的dns IP。然后使用如下命令重启网络服务。改为 8.8.8.8。
master@master:~$ kubectl get pod -o wide -n kube-system NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES coredns-cb4864fb5-2fbfw 1/1 Running 0 21m 10.88.0.7 master <none> <none> coredns-cb4864fb5-kgh4b 1/1 Running 0 21m 10.88.0.6 master <none> <none> etcd-master 1/1 Running 1 21m 192.168.110.230 master <none> <none> kube-apiserver-master 1/1 Running 1 21m 192.168.110.230 master <none> <none> kube-controller-manager-master 1/1 Running 1 21m 192.168.110.230 master <none> <none> kube-proxy-bt55c 1/1 Running 0 21m 192.168.110.230 master <none> <none> kube-proxy-fd5mv 1/1 Running 0 10m 192.168.110.231 node1 <none> <none> kube-proxy-kvsnt 1/1 Running 0 10m 192.168.110.232 node2 <none> <none> kube-scheduler-master 1/1 Running 1 21m 192.168.110.230 master <none> <none>
最新发布
10-28
<think>我们正在分析 `kubectl get pod -o wide -n kube-system` 命令的输出，特别是在删除并重新部署 Calico 之后。这个命令会列出 `kube-system` 命名空间中所有 Pod 的详细信息，包括状态、重启次数、所在节点等。以下是我们需要关注的几个关键点： 1. **Calico 相关 Pod 的状态**：在重新部署后，Calico 的 Pod（如 `calico-node-xxx`、`calico-kube-controllers-xxx`）应该处于 `Running` 状态，且重启次数（RESTARTS 列）应该较低（理想情况下为0）。如果重启次数较高，可能表示配置有问题或资源不足。 2. **CoreDNS 的状态**：CoreDNS 是 Kubernetes 集群的 DNS 服务，它依赖于网络插件。在删除 Calico 后，CoreDNS 可能会因为网络中断而处于 `Error` 或 `CrashLoopBackOff` 状态。重新部署 Calico 后，CoreDNS 应该恢复到 `Running` 状态。 3. **其他系统组件**：包括 `kube-apiserver`、`kube-controller-manager`、`kube-scheduler`、`kube-proxy` 等。这些组件在 Calico 删除期间可能不受影响，但最好确认它们都处于 `Running` 状态。 4. **节点分配（NODE 列）**：确认 Pod 被调度到了预期的节点上。特别是 Calico 的 DaemonSet 应该在每个节点上都有一个 Pod。 5. **IP 地址（IP 列）**：每个 Pod 都应该分配到了 IP 地址。如果 Calico 正常工作，所有 Pod 的 IP 地址应该都属于 Calico 的 IP 池。 6. **就绪状态（READY 列）**：显示容器是否通过就绪探针。例如，`1/1` 表示该 Pod 有1个容器且已就绪。 **示例输出分析**： 假设我们有以下输出（简化版）： ``` NAME READY STATUS RESTARTS AGE IP NODE calico-node-abc12 1/1 Running 0 5m 192.168.44.25 k8s-master calico-node-def34 1/1 Running 0 5m 192.168.44.26 k8s-node1 calico-node-ghi56 1/1 Running 0 5m 192.168.44.27 k8s-node2 calico-kube-controllers-789xyz 1/1 Running 0 5m 10.244.0.1 k8s-master coredns-7f6cbbb7b8-9qj2k 1/1 Running 0 10m 10.244.1.2 k8s-node1 coredns-7f6cbbb7b8-fxz7p 1/1 Running 0 10m 10.244.2.2 k8s-node2 kube-apiserver-k8s-master 1/1 Running 0 1h 192.168.44.25 k8s-master kube-controller-manager-k8s-master 1/1 Running 0 1h 192.168.44.25 k8s-master kube-scheduler-k8s-master 1/1 Running 0 1h 192.168.44.25 k8s-master kube-proxy-8m2xv 1/1 Running 0 1h 192.168.44.25 k8s-master kube-proxy-jk9s8 1/1 Running 0 1h 192.168.44.26 k8s-node1 kube-proxy-lmn0p 1/1 Running 0 1h 192.168.44.27 k8s-node2 ``` **分析**： - Calico 组件：所有 `calico-node` 和 `calico-kube-controllers` 都处于 `Running` 状态，重启次数为0，且每个节点上都有一个 `calico-node` Pod。这表示 Calico 已经成功部署。 - CoreDNS：两个 Pod 都处于 `Running` 状态，重启次数为0，说明 DNS 服务正常。 - 其他系统组件：所有组件状态正常。 - IP 地址：Calico 相关的 Pod 和管理节点上的 Pod 使用了不同的 IP 段（如 `192.168.44.x` 和 `10.244.x.x`），这是正常的，因为 Calico 节点 Pod 使用主机网络，而其他 Pod 使用 Pod 网络。 **如果发现问题**： - **Calico Pod 未运行**：检查重新部署的步骤是否正确，以及节点上是否有残留文件未清理干净（参考之前的删除步骤）。 - **CoreDNS 异常**：如果 CoreDNS 处于 `CrashLoopBackOff` 或 `Error` 状态，可能是网络问题导致其无法启动。可尝试删除 CoreDNS Pod 让其重建：`kubectl delete pod -n kube-system -l k8s-app=kube-dns`。 - **Pod 没有 IP 地址**：检查 Calico 的 IP 池配置和节点网络连通性。 **验证网络连通性**： 创建一个测试 Pod 来检测集群内外网络的连通性： ```bash kubectl run test-pod --image=busybox --rm -it --restart=Never -- ping 8.8.8.8 ``` 如果无法连通，需进一步检查 Calico 的日志：`kubectl logs -n calico-system <calico-node-pod-name>`。 **总结**：在删除并重新部署 Calico 后，通过 `kubectl get pod -o wide -n kube-system` 命令可以快速验证关键系统组件的状态。重点关注 Calico 组件和 CoreDNS 的状态，确保它们都正常运行，且 Pod 分配到正确的 IP 地址。 §§ 相关问题 §§ 1. 如何查看 Calico 的日志以诊断网络问题？ 2. CoreDNS 持续重启的可能原因有哪些？ 3. 如何修改 Calico 的 IP 地址池配置？ </think>### 分析 `kubectl get pod -o wide -n kube-system` 输出（Calico 重部署场景） 在删除并重建 Calico 后，检查系统组件状态至关重要。以下是关键分析点和典型输出示例： --- #### **关键分析维度** 1. **Calico 核心组件状态** - ✅ **calico-node-\***：DaemonSet 应在每个节点运行（`1/1 READY`），状态为 `Running` - ✅ **calico-kube-controllers-\***：Deployment 应稳定运行（`RESTARTS=0`） - ❌ 异常状态：`CrashLoopBackOff`/`Error` 表示配置错误或资源冲突[^2] 2. **CoreDNS 状态** - ✅ 应有 2 个副本（如 `coredns-5d78c9869d-xxxxx`） - ❌ `ContainerCreating` 超时：CNI 插件未正常工作 - ❌ `Pending`：节点网络未就绪 3. **kube-proxy 状态** - ✅ 每个节点应有 1 个 `kube-proxy-xxxx` Pod（`Running`状态） - ❌ 频繁重启：网络策略冲突或 iptables 错误 4. **控制平面组件** - ✅ **kube-apiserver**：主节点必须 `Running` - ✅ **kube-controller-manager**：无频繁重启 - ✅ **kube-scheduler**：`READY 1/1` 5. **IP 地址分配（IP 列）** - ✅ Calico Pod 应有节点 IP（主机网络模式） - ✅ 其他 Pod 应在 Calico IP 池内（如 `10.244.x.x`） - ❌ `<none>`：IPAM 故障 --- #### **典型输出示例（正常状态）** ```bash NAME READY STATUS RESTARTS AGE IP NODE calico-node-8n44g 1/1 Running 0 12m 192.168.44.25 k8s-master calico-node-kj7f2 1/1 Running 0 12m 192.168.44.26 k8s-node1 calico-node-xq9p8 1/1 Running 0 12m 192.168.44.27 k8s-node2 calico-kube-controllers-789xyz 1/1 Running 0 12m 10.244.0.1 k8s-master coredns-7f6cbbb7b8-9qj2k 1/1 Running 0 15m 10.244.1.2 k8s-node1 coredns-7f6cbbb7b8-fxz7p 1/1 Running 0 15m 10.244.2.2 k8s-node2 kube-apiserver-k8s-master 1/1 Running 0 1h 192.168.44.25 k8s-master kube-proxy-8m2xv 1/1 Running 0 1h 192.168.44.25 k8s-master kube-proxy-jk9s8 1/1 Running 0 1h 192.168.44.26 k8s-node1 ``` --- #### **常见问题诊断** | 现象 | 可能原因 | 解决方案 | |-------------------------------|------------------------------|------------------------------| | `calico-node` 卡在 `Init` | 节点残留文件未清理 | 执行 `rm -rf /var/lib/calico/*` [^1] | | CoreDNS `ContainerCreating` | CNI 插件未生效 | 检查 `kubectl get daemonset -n calico-system` | | Pod IP 为 `<none>` | IP 地址池耗尽 | 扩展 Calico IP 池范围 | | 频繁重启 (`RESTARTS > 5`) | 资源竞争或配置冲突 | 检查 `kubectl describe pod <name>` 事件 | > **操作建议**： > 若发现异常，通过标签过滤 Calico Pod 深入检查： > ```bash > kubectl get pods -n kube-system -l k8s-app=calico-node -o wide # 聚焦 Calico 节点[^4] > kubectl logs -n kube-system calico-node-xxxxx # 查看具体日志 > ``` ---
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值