【Kubernetes】controller-manager组件状态Unhealthy解决

最新推荐文章于 2024-04-02 22:55:34 发布
最新推荐文章于 2024-04-02 22:55:34 发布
阅读量3.3k 收藏 1
点赞数 3
CC 4.0 BY-SA版权
分类专栏： Kubernetes 文章标签： kubernetes
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/cnskylee/article/details/117560305
在执行`kubectl get componentstatuses`时，发现controller-manager状态为Unhealthy，错误消息显示HTTP probe失败。解决方案是删除kube-controller-manager配置文件中`--port=xxxxx`选项，仅保留`--secure-port=10257`，然后重启kube-controller-manager服务。完成重启后，controller-manager状态恢复正常。从1.13版本开始，kube-controller-manager的非安全端口已被废弃，建议使用安全端口进行livenessProbe。

【异常提示】使用kubectl获取组件的状态时，提示“controller-manager   Unhealthy   HTTP probe failed with statuscode: 400”

$ kubectl get componentstatuses
Warning: v1 ComponentStatus is deprecated in v1.19+
NAME                       STATUS            MESSAGE                                                ERROR
scheduler                  Healthy             ok                             &nb

了解本专栏 订阅专栏 解锁全文 超级会员免费看
解决kubernetes集群controller-manager 和scheduler状态 Unhealthy问题
江晓龙的博客
05-11 1478
解决kubernetes集群controller-manager 和scheduler状态 Unhealthy问题 最近通过kubeadm安装K8s，组件controller-manager 和scheduler状态 Unhealthy [root@k8s-master1 ~]# netstat -lnpt | egrep '10251|10252' 端口也不存在 rancher上显示也比较难看 解决方法如下： 在所有master节点都要操作 vim /etc/kubernetes/manifes
kubeadm安装k8s 组件controller-manager 和scheduler状态 Unhealthy
小啊宇的博客
02-06 993
通过kubeadm安装好kubernetes v1.20.2 查看集群状态，发现组件controller-manager 和scheduler状态 Unhealthy 检查端口未监听 组件运行正常 检查kube-scheduler和kube-controller-manager组件配置是否禁用了非安全端口 vim /etc/kubernetes/manifests/kube-scheduler.yaml vim /etc/kubernetes/manifests/kube-controller-man
Kubernets集群排错之-scheduler&controller-manager组件不健康
云计算新生代农民工
09-07 1548
[root@master1 ~]# kubectl get cs NAME STATUS MESSAGE ERROR scheduler Unhealthy Get http://127.0.0.1:10251/healthz: dial tcp 127.0.0.1:1025
成功运行处于CrashLoopBackOff异常状态的kube-controller-manager，错误为Back-off restarting failed container
热门推荐
WinterPirates的博客
07-26 1万+
本来之前搭建好了k8s集群，然后之前的镜像存放在docker的默认目录——/var/lib/docker(这个目录是系统盘的目录)。因为之后要把容器化的应用部署在k8集群上，如果不修改docker镜像的存放位置，那么系统盘的空间肯定不够用，所以将docker镜像存放在数据盘上。 我把docker镜像转存到数据盘的过程是这样的： 1、停掉了docker服务 2、先把docker默认目录即/var/lib/docker下的文件先拷贝到了新的目录下，然后我就把/var/lib/docker下的文件删除了(之后的流
kubernetes二进制部署k8s-master集群controller-manager服务unhealthy问题
li123128的博客
12-29 7400
　　一.问题现象 　　 　　我们使用二进制部署k8s的高可用集群时，在部署多master时，kube-controller-manager服务提示Unhealthy 　　 　　[root@ceph-01 system]# kubectl get cs 　　 　　NAME                 STATUS      MESSAGE                             ...
k8s组件状态异常:scheduler Unhealthy controller-manager Unhealthy排除
Q先生
03-24 541
【代码】k8s组件状态异常:scheduler Unhealthy controller-manager Unhealthy排除。
k8s踩坑2——scheduler 、controller-manager Unhealthy
weixin_42104154的博客
05-30 1079
查看master组件状态时出现错误 [root@k8s-master ~]# kubectl get cs Warning: v1 ComponentStatus is deprecated in v1.19+ NAME STATUS MESSAGE ERROR scheduler
kube-controller-manager组件剖析
lhq1363511234的博客
04-02 1505
控制器做了许多不同的事情，但是它们都通过API服务器监听资源（部署、服务等）变更，并且不论是创建新对象还是更新、删除已有对象，都对变更执行相应操作。大多数情况下，这些操作涵盖了新建其他资源或者更新监听的资源本身（例如，更新对象的status）。 总的来说，控制器执行一个“调和”循环，将实际状态调整为期望状态（在资源spec部分定义），然后将新的实际状态写入资源的status部分。控制器利用监听机制来订阅变更，但是由于使用监听机制并不保证控制器不会漏掉时间，所以仍然需要定期执行重列举操作来确保不会丢掉什么。
Kubeadm部署k8s集群后，scheduler和controller-manager为Unhealthy
weixin_44280843的博客
09-25 930
Get "http://127.0.0.1:10252/healthz": dial tcp 127.0.0.1:10252: connect: connection refused
k8s集群部署之后，controller-manager和scheduler组件状态依然是Unhealthy
每一个不曾起舞的日子，都是对生命的辜负
07-10 1205
这是国外的一个网站的帖子部分内容：意思是从1.13版本开始，kube-controller-manager 和 kube-scheduler 使用使用10257、10259作为暴露的secure-ports（安全端口），而--insecure-ports（非安全端口）常用的10251、10252已经被废弃。 Since 1.13, kube-controller-manager and kube-scheduler exposing 10259, 10257 as a secure ports，In...
kubectl get cs查看组件状态kube-scheduler和kube-controller-manager显示unhealthy
小楼一夜听春雨，深巷明朝卖杏花
12-14 4446
通过kubeadm安装的k8s集群获取kube-scheduler和kube-controller-manager组件状态异常 原因1:这两个pod的非安全端口没有开启，健康检查时报错，但是由于本身服务是正常的，只是健康检查的端口没启，所以不影响正常使用。 $ kubectl get cs NAME STATUS MESSAGE
kubernetes之deployment删除失败定位：controller-manager Unhealthy问题
qq_38695182的博客
01-15 2906
一、环境：Ubuntu  16.04.1                    k8s         1.8.0 二、问题：       删除deployment失败，排查问题发现：       ①.执行 kubectl get componentstatuses，发现controller-manager  Unhealthy       ②.查看k8s  controller-m...
【Rancher相关问题】Rancher 2.5.8 及以下版本，提示Alert: Component controller-manager,scheduler is unhealthy.
拾级而上
06-09 1179
问题描述 如图，Rancher2.5.8版本提示 controller-manager,scheduler 不健康，管理的k8s集群版本1.21.1 解决方法 在Master节点执行如下命令： sed -i 's|- --port=0|#- --port=0|' /etc/kubernetes/manifests/kube-scheduler.yaml sed -i 's|- --port=0|#- --port=0|' /etc/kubernetes/manifests/kube-controller-
K8S报错：controller-manager Unhealthy Get http://127.0.0.1:10252/healthz: dial tcp 127.0.0.1:10252
学亮编程手记
01-05 3764
controller-manager Unhealthy Get “http://127.0.0.1:10252/healthz”: dial tcp 127.0.0.1:10252: connect: connection refused scheduler Unhealthy Get “http://127.0.0.1:10251/healthz”: dial tcp 127.0.0.1:10251: connect: connection refused 解决思路： 注释掉/etc/kubernet
rancher 警告: 组件 controller-manager 不健康
架构+开发+运维
12-14 2762
文章目录【报错】【解决】【结果】 【报错】 警告: 组件 controller-manager 不健康 警告: 组件 scheduler 不健康 【解决】 修改以上两个组件的静态pod的配置文件 /etc/kubernetes/manifests/kube-controller-manager.yaml /etc/kubernetes/manifests/kube-scheduler.yaml 两个文件，删除 --port=0 重启kubelete [root@crust-m01 ~]
kubeadm 搭建 v1.18.6 集群 scheduler, controller-manager Unhealthy 解决方案
wu_weijie的博客
08-08 558
https://www.gjie.cn/2618.html
k8s controller-manager scheduler Unhealthy
qq_15138049的博客
01-18 215
参考：https://blog.youkuaiyun.com/qq_39545674/article/details/110688805 /etc/kubernetes/manifests/kube-controller-manager.yaml /etc/kubernetes/manifests/kube-scheduler.yaml 删除文件中 - --port=0 再次查看 componentstatuses
解决Rancher Dashbroad组件controller-manager、scheduler不健康的问题
gaojie314的专栏
05-16 2528
安装完k8s，在rancher导入完k8s集群之后，显示如下问题： 解决： 1、解决方法，把主节点如下两个文件： /etc/kubernetes/manifests/kube-controller-manager.yaml /etc/kubernetes/manifests/kube-scheduler.yaml 找到中 --port=0 去掉即可； 2、重启kubelet： root@hncs-k8s-1:~# systemctl restart kubelet.service .
使用Kubeadm安装的K8s集群获取kube-scheduler和kube-controller-manager组件状态异常问题
非著名运维的博客
09-07 2554
报错：  使用Kubeadm安装的K8s集群获取kube-scheduler和kube-controller-manager组件状态异常，基本上都会出现这个问题。 [root@k8s-master ~]# kubectl get cs Warning: v1 ComponentStatus is deprecated in v1.19+ NAME STATUS MESSAGE
kube-system的kube-controller-manager
最新发布
08-05
kube-controller-manager 是 Kubernetes 系统中的核心组件之一，负责运行一系列控制器，这些控制器用于确保集群的实际状态与期望状态一致。其主要功能包括节点控制器（Node Controller）、副本控制器（ReplicaSet Controller）、端点控制器（Endpoint Controller）等，通过监控和调整集群资源的状态来维持系统的稳定运行[^2]。 ### kube-controller-manager 的功能 - **节点控制器**：监控节点的健康状况，当检测到节点不可达时，标记节点为不可用，并触发相应的 Pod 驱逐机制。 - **副本控制器**：确保指定数量的 Pod 副本始终处于运行状态，自动重启失败的 Pod 或创建新的 Pod 以满足期望的副本数。 - **端点控制器**：管理服务（Service）与 Pod 之间的映射关系，将 Pod 的 IP 和端口信息更新到对应的 Endpoints 对象中。 - **服务账户控制器**：为每个命名空间创建默认的服务账户，并管理相关的 API 访问令牌。 - **令牌控制器**：处理服务账户令牌的生成和管理。 ### 问题排查方法 #### 1. 查看 kube-controller-manager 的状态 使用 `kubectl get pods -n kube-system` 命令检查 `kube-controller-manager` 的状态和重启次数，确认其是否处于正常运行状态[^2]。 ```bash kubectl get pods -n kube-system ``` 如果发现 `kube-controller-manager` 频繁重启，可以进一步查看其日志以定位问题： ```bash kubectl logs <kube-controller-manager-pod-name> -n kube-system ``` #### 2. 检查组件状态 使用 `kubectl get cs` 命令查看 Kubernetes 组件的状态，确认 `kube-controller-manager` 是否显示为 `Unhealthy`： ```bash kubectl get cs ``` #### 3. 检查 Endpoint 和 Leader 选举问题 如果 `kube-controller-manager` 频繁重启且日志中显示 Leader 选举相关的问题，可能是由于 `kube-controller-manager` 在进行 Leader 选举时出现了频繁切换。这种情况通常与 etcd 的性能有关，特别是在磁盘 IOPS 较低的情况下，etcd 的响应速度较慢，导致 Leader 选举过程不稳定。可以通过以下步骤进行排查： - **检查 etcd 的性能**：确保 etcd 所在的磁盘具有足够的 IOPS，建议使用高性能存储设备以避免因磁盘性能问题导致的 Leader 切换。 - **查看 Leader 选举日志**：在 `kube-controller-manager` 的日志中查找与 Leader 选举相关的条目，观察是否有频繁的 Leader 变更记录。 - **调整 Leader 选举参数**：根据集群规模和网络延迟情况，适当调整 Leader 选举的超时时间和租约时间，以减少不必要的切换。 #### 4. 检查 Endpoints 对象 在某些情况下，`kube-controller-manager` 可能会因为无法正确更新 Endpoints 对象而导致重启。可以尝试手动删除 `kube-controller-manager` 的 Endpoints 对象，观察其是否会重新生成并恢复正常运行： ```bash kubectl delete endpoints -n kube-system kube-controller-manager ``` 删除后，`kube-controller-manager` 应该会重新注册自身，并更新 Endpoints 的 `resourceVersion`。如果问题仍然存在，建议进一步检查 `kube-controller-manager` 的配置文件和启动参数，确保其与集群的其他组件兼容[^1]。 #### 5. 检查 API Server 和 etcd 的连接 `kube-controller-manager` 依赖于与 API Server 和 etcd 的稳定连接。如果网络不稳定或配置错误，可能导致 `kube-controller-manager` 无法正常工作。可以通过以下方式检查： - **检查 API Server 的可达性**：确保 `kube-controller-manager` 能够正常访问 API Server。 - **检查 etcd 的连接状态**：确认 `kube-controller-manager` 与 etcd 之间的连接是否稳定，避免因连接超时或中断导致的异常。 #### 6. 检查系统资源 确保 `kube-controller-manager` 所在节点的系统资源（如 CPU、内存）充足，避免因资源不足导致的 OOM（Out of Memory）或其他异常。 ### 相关问题 1. 如何配置 kube-controller-manager 的 Leader 选举参数？ 2. 如何判断 etcd 的性能是否影响了 kube-controller-manager 的稳定性？ 3. kube-controller-manager 的 Endpoints 对象是如何生成和更新的？ 4. 如何通过日志分析 kube-controller-manager 的异常行为？ 5. 如何优化 kube-controller-manager 的性能以减少重启频率？
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

cnskylee

技术分享我是认真的，期待您打赏

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值