k8s之节点异常状态与污点

最新推荐文章于 2025-02-28 16:48:33 发布
最新推荐文章于 2025-02-28 16:48:33 发布
阅读量952 收藏 24
点赞数 15
分类专栏： # k8s 文章标签： kubernetes 容器 云原生
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/woshihlf/article/details/145555908
版权

节点异常状态与污点

NotReady 节点状态为 NotReady 的原因

0. 常见原因：Kubelet 挂掉

  • 判断方法：
    • 登录到节点：ssh root@11.127.211.13
    • 检查 Kubelet 进程：ps -ef | grep 'kubelet'

1. 网络问题

  • 网络连接中断：

    • 节点与 API 服务器之间的网络连接不稳定或中断，会导致节点无法正常向 API 服务器汇报状态。
    • 例如，网络设备故障、网络配置错误等，使得 Kubelet 无法与 API 服务器进行通信。

  • 网络插件故障：

    • Kubernetes 的网络插件（如 Calico、Flannel 等）出现问题，会影响节点之间的网络通信以及 Pod 的网络功能。
    • 例如，网络插件配置错误、网络插件服务崩溃等，都可能导致节点状态变为 NotReady。

2. Kubelet 服务问题

  • Kubelet 未运行：

    • Kubelet 是节点上负责管理 Pod 的核心组件，如果 Kubelet 服务未启动或异常停止，节点将无法正常与 API 服务器交互，从而显示为 NotReady。

  • Kubelet 配置错误：

    • Kubelet 的配置文件（通常是 /etc/kubernetes/kubelet.conf）存在错误，可能会导致 Kubelet 无法正常工作。
    • 例如，配置的 API 服务器地址错误、认证信息错误等。

  • Kubelet 资源不足：

    • 如果节点上的资源（如 CPU、内存）严重不足，Kubelet 可能无法正常运行，进而影响节点状态。

3. 节点硬件问题

  • 磁盘空间不足：

    • 节点上的磁盘空间被占满，会导致 Kubelet 无法正常写入日志、存储容器镜像等，从而使节点状态变为 NotReady。
    • 可以通过 df -h 命令查看节点磁盘使用情况。

  • 内存不足：

    • 节点内存耗尽，会影响 Kubelet 及其他系统进程的正常运行，导致节点状态异常。
    • 可以使用 free -m 命令查看节点内存使用情况。

  • 硬件故障：

    • 节点的硬件设备（如硬盘、网卡、内存等）出现故障，也会导致节点无法正常工作，显示为 NotReady。

4. 节点系统问题

  • 操作系统异常：

    • 节点的操作系统出现问题，如内核崩溃、系统服务故障等，会影响 Kubelet 的正常运行，使节点状态变为 NotReady。

  • 系统时间不同步：

    • 节点的系统时间与 API 服务器的时间差异过大，可能会导致认证和通信问题，从而影响节点状态。

SchedulingDisabled 节点状态为 SchedulingDisabled 的原因

1. 手动设置

  • 管理员可以使用 kubectl cordon <node-name> 命令将节点标记为不可调度，这样新的 Pod 将不会被调度到该节点上，节点状态会显示为 SchedulingDisabled。
  • 这通常用于在进行节点维护、升级等操作前，避免新的 Pod 被调度到该节点。
# 设置节点不可调度
kubectl cordon <node-name>

# 解除不可调度状态
kubectl uncordon <node-name>

2. 节点健康检查失败

  • 当节点的健康检查（如节点的心跳检查、资源可用性检查等）持续失败时，Kubernetes 可能会自动将节点标记为不可调度，以防止新的 Pod 被调度到可能存在问题的节点上。
  • 这种情况通常伴随着节点状态变为 NotReady。

3. 资源耗尽

  • 如果节点上的资源（如 CPU、内存、磁盘等）严重不足，Kubernetes 可能会将节点标记为不可调度，避免新的 Pod 被调度到该节点，导致资源进一步紧张。

重新认识污点

在 Kubernetes 中，污点（Taints）是应用于节点上的一种属性，它可以防止 Pod 被调度到具有特定污点的节点上，除非该 Pod 具有与之匹配的容忍度（Tolerations）。

1. node.kubernetes.io/unreachable:NoExecute

  • 污点键（Key）：

    • node.kubernetes.io/unreachable 是一个预定义的污点键，通常表示节点处于不可达状态。
    • 这可能是由于网络问题、节点故障或其他原因导致 Kubernetes 控制平面无法与该节点进行通信。

  • 污点效果（Effect）：

    • NoExecute 是一种比较严格的污点效果，它有两个主要作用：
      1. 阻止调度：如果一个 Pod 没有容忍这个污点，它将不会被调度到具有该污点的节点上。
      2. 驱逐已有 Pod：如果一个节点被标记为 node.kubernetes.io/unreachable:NoExecute 且一个正在运行的 Pod 没有容忍这个污点，那么该 Pod 会被从节点上驱逐。
    • 不过，Kubernetes 会有一个默认的宽限期（通常是 5 分钟），在宽限期内如果节点恢复正常，Pod 不会被驱逐。

2. node.kubernetes.io/unreachable:NoSchedule

  • 污点键（Key）：

    • 同样是 node.kubernetes.io/unreachable，表示节点不可达。

  • 污点效果（Effect）：

    • NoSchedule 意味着如果一个 Pod 没有容忍这个污点，它将不会被调度到具有该污点的节点上。
    • 与 NoExecute 不同的是，NoSchedule 不会影响已经在该节点上运行的 Pod，它只对新的调度决策起作用。

3. node.kubernetes.io/unschedulable:NoSchedule

  • 污点键（Key）：

    • node.kubernetes.io/unschedulable 是一个表示节点不可调度的预定义污点键。
    • 通常，当管理员使用 kubectl cordon 命令将节点标记为不可调度时，会自动给节点添加这个污点。

  • 污点效果（Effect）：

    • NoSchedule 表明如果一个 Pod 没有容忍这个污点，它将不会被调度到具有该污点的节点上。
    • 已经在该节点上运行的 Pod 不会受到影响。

节点状态与污点的关系

节点状态 NotReady 与三种污点的关系

1. 节点因不可达导致 NotReady
  • 当节点由于网络故障、Kubelet 服务异常等原因变得不可达时，Kubernetes 控制平面会给节点添加 node.kubernetes.io/unreachable:NoExecute 和 node.kubernetes.io/unreachable:NoSchedule 污点。
  • 这种情况下，节点状态通常会变为 NotReady，因为不可达意味着控制平面无法准确获取节点的状态信息，也不能保证节点能够正常运行 Pod。
    • NoExecute 污点不仅会阻止新 Pod 调度到该节点，还会驱逐节点上没有容忍此污点的现有 Pod。
    • NoSchedule 污点则主要阻止新 Pod 调度到该节点，但不影响已在节点上运行的 Pod。
2. 其他原因导致 NotReady
  • 节点 NotReady 也可能由其他因素引起，如磁盘空间不足、内存耗尽、硬件故障等。
  • 在这些情况下，节点可能不会被添加 node.kubernetes.io/unreachable 相关的污点，但可能会被添加 node.kubernetes.io/unschedulable:NoSchedule 污点，以防止新的 Pod 被调度到可能存在问题的节点上。

节点状态 SchedulingDisabled 与三种污点的关系

1. 手动设置导致 SchedulingDisabled
  • 当管理员使用 kubectl cordon <node-name> 命令手动将节点标记为不可调度时，Kubernetes 会给节点添加 node.kubernetes.io/unschedulable:NoSchedule 污点，节点状态会变为 SchedulingDisabled。
  • 这是一种主动的操作，目的是在进行节点维护、升级等操作前，避免新的 Pod 被调度到该节点。
2. 节点健康问题导致 SchedulingDisabled
  • 如果节点因为出现严重的健康问题（如不可达、资源耗尽等），Kubernetes 可能会自动将节点标记为不可调度，添加 node.kubernetes.io/unschedulable:NoSchedule 污点或 node.kubernetes.io/unreachable 相关污点，从而使节点状态变为 SchedulingDisabled。
  • 这样可以防止新的 Pod 被调度到可能无法正常工作的节点上，保障集群的稳定性。

通过以上内容，您可以更好地理解 Kubernetes 中节点状态与污点的关系，并能够根据实际情况进行排查和处理。

k3s|如何将k8s集群的node节点设置不可调度或删除node节点？
我的开发博客(公众号:Web后端技术)
10-18 5873
k3s是由 Rancher 公司开发的轻量级Kubernetes，是经CNCF一致性认证的Kubernetes发行版，专为物联网及边缘计算设计。由于运行 K3s 所需的资源相对较少，所以 K3s 也适用于开发和测试场景。
87、k8s之污点
m0_74149099的博客
09-04 1696
node 亲和性----nodename—nodeSelector​ 软策略和硬策略pod：亲和性​ 反亲和性标签------>node节点的标签比app：nginx1标签优先级高-------------------------------以上总结------------------------------------------
21-k8s中pod的调度-污点和污点容忍
2302_79199605的博客
02-18 1951
所谓的污点，就是给k8s集群中的节点设置的污点，通过设置污点，来规划资源创建时所在的节点；污点的类型解释说明节点设置这个五点类型后；表示，该节点接受调度，但是会降低调度的概率；根据节点设置污点；
k8s之pod的调度之污点与容忍污点，什么是污点？ 如何容忍污点
最新发布
soso678的博客
02-28 1651
污点：用于限制 Pod 调度到特定节点。容忍：允许 Pod 忽略节点的污点，调度到特定节点。通过污点和容忍，可以实现节点的专用化、维护和故障隔离等场景。通过合理使用污点和容忍，可以更灵活地控制 Kubernetes 集群中 Pod 的调度行为，提升集群的稳定性和资源利用率。污点的优先级高于nodeName与nodeSelector：即使 Pod 使用了nodeName或者nodeSelector指定节点，污点仍然会生效。污点的效果决定行为NoSchedule：阻止 Pod 调度到该节点。
设置k8s节点不可被pod调度SchedulingDisabled
a1058926697的博客
04-07 1764
k8s
【K8S】常用命令记录
阳阳的博客
03-10 1161
1、查看所有的namespace kubectl get namespaces 结果会显示出每个namespace的状态，包含两种 Active和Terminating。 在namespace删除过程中，namespace状态被设置成Terminating。 2、查看当前集群下的节点信息 kubectl get nodes 同样，会显示出各个节点的状态，角色（Master、Nod...
K8S故障处理指南：临时设置节点为不可调度
m0_37680131的博客
01-14 2005
在Kubernetes中，节点驱逐是一种管理和维护集群的重要操作，允许节点在维护、升级或者发生故障时从集群中移除，等到节点修复后，再重新承担pod调度功能。本文将介绍节点驱逐的基本概念、使用场景、解除驱逐的步骤以及注意事项。
K8S给节点打标签和打污点
huangbaokang的博客
11-13 7455
打标签 kubectl label node node名 key=value kubectl label node node1 env-role=prod 查看标签 kubectl get nodes --show-labels 打污点 kubectl taint node node名 key=value:污点三个可选值 NoSchedule : 一定不被调度 PreferNoSchedule ： 尽量不被调度 NoExecute : 不会调度，并且还会驱逐Node已有Pod kubectl tai
【云原生 从零开始学Kubernetes】十一、k8s污点、容忍度和pod状态_怎么查看节点是否打污点
2301_79098963的博客
04-28 502
仅影响 pod 调度过程，当 pod 能容忍这个节点污点，就可以调度到当前节点，后来这个节点的污点改了，加了一个新的污点，使得之前调度的 pod 不能容忍了，那这个 pod 会怎么处理，对现存的 pod 对象不产生影响。在 pod 上定义的容忍度可能不止一个，在节点上定义的污点可能多个，需要琢个检查容忍度和污点能否匹配，每一个污点都能被容忍，才能完成调度，如果不能容忍怎么办，那就需要看 pod 的容忍度了。tolerations 是键值数据，用在 pod 上，定义容忍度，能容忍哪些污点。
【kubernetes】关于k8s集群的污点、容忍、驱逐以及k8s集群故障排查思路
wyq2070857323的博客
05-29 1767
节点亲和性，是Pod的一种属性（偏好或硬性要求），它使Pod被吸引到一类特定的节点。Taint 则相反，它使节点能够排斥一类特定的 Pod。Taint 和 Toleration 相互配合，可以用来避免 Pod 被分配到不合适的节点上。每个节点上都可以应用一个或多个 taint ，这表示对于那些不能容忍这些 taint 的 Pod，是不会被该节点接受的。如果将 toleration 应用于 Pod 上，则表示这些 Pod 可以（但不一定）被调度到具有匹配 taint 的节点上。
K8S学习之污点容忍
weixin_60092693的博客
01-22 8428
污点：使节点能够排斥一类特定的 pod。Taint 和 toleration 相互配合，可以用来避免pod 被分配到不合适的节点上。 节点亲和性：是pod的一种属性（偏好或硬性要求），它使pod被吸引到一类特定的节点。 taints：污点，定义在节点上，是键值数据 tolerations：容忍度，定义在pod上，可以定义能容忍哪些污点 污点的查看 [root@master ~]# kubectl describe nodes master | grep Taints Taints:
k8s删除node节点
weixin_46755536的博客
05-17 4711
k8s版本：V1.18.4 主机操作系统：CentOS Linux release 7.6.1810 (Core) #生产环境删除节点需要确认主机pod的数据目录，查看存储类型，若数据有用，必须备份数据，确定数据恢复方案后再操作。 1.查看集群节点信息： 2.删除集群节点：k delete nodes 192.168.10.167 查看集群节点信息，167主机已经从集群内删除。 3.登录192.168.10.167主机，修改 kubeconfig配置文件。去掉kubeconfig配置中指向的kube-
k8s--基础--20--污点和容忍度
zhou920786312的博客
08-11 3640
一个toleration和一个taint相"匹配"是指它们有一样的key和effect如果 operator 是 Exists，此时toleration不能指定value如果 operator 是 Equal，此时它们的value应该相等如果一个toleration的effect为空，则key值与之相同的相匹配taint的effect可以是任意值。NoSchedule：不允许调度，已经调度的不受影响。...
节点污点 Taint 和容忍度 Toleration在生产中的使用
manwufeilong的博客
06-06 900
一、前言在生产环境使用中，有时会遇到一些使用场景需求，当集群中存在多种节点类型的情况，如master节点、ssd硬盘类型的node节点，或者是高计算性能的node节点，这个时候，只想某些节点上只运行指定类型的pod，不想让其它pod调度到这些节点上，则可以使用节点污点（Taint）的方式，配合容忍度（Toleration），实现指定节点只运行特定类型的pod服务。节点污点（Taint）则相反——它使节点能够排斥一类特定的 Pod。容忍度（Toleration）是应用于 Pod 上的，允许（但并不要求）Pod
k8s运维-06-kubectl delete node的过程
chuxiong5717的博客
07-07 2640
一. 本节记录kubectl delete node的执行过程 delete是一个比较粗暴的命令，它会将被删node上的pod直接驱逐，由其他node创建（针对replicaset），然后将被删节点从master管理范围内移除，master对其失去管理控制，若想使node重归麾下，必...
kubernetes Node的隔离与恢复
asdf57847225的博客
10-20 4940
在硬件升级、硬件维护等情况下，我们需要将某些Node进行隔离，脱离Kubernetes集群的调度范围。Kubernetes提供了一种机制，既可以将Node纳入调度范围，也可以将Node脱离调度范围。         创建配置文件 unschedule_node.yaml,在spec部分指定 unschedulable为true:         apiVersion:  V1
kubernetes(k8s) 学习 (十二) k8s的调度（调度的两种方式+亲和与反亲和+污点、容忍)
weixin_45649763的博客
05-08 1288
文章目录
如何去掉k8s集群中master节点的污点
10-03
在Kubernetes（k8s）中，当Master节点出现问题，可以人为地将其标记为“不可调度”（Dropped from scheduling），这实际上就是给节点添加一个“污点”（taint）。一旦节点被加了污点，Kubelet将不再接受新Pod在这个节点上运行，直到污点被移除。 以下是删除Master节点污点的基本步骤： 1. 登录到任意一个非Master节点（通常是Worker节点）并使用`kubectl`命令行工具： ``` kubectl get nodes -o wide ``` 2. 找到需要移除污点的Master节点的名称，比如`node1.example.com`，然后执行以下命令，将`key=value`替换为你实际的污点键值对： ``` kubectl taint nodes node1.example.com key=value:NoSchedule ``` 这里的`key`通常为`node-role.kubernetes.io/master`，表示这是一个master节点，`value`可以为空。 3. 如果你想永久移除这个污点，你可以设置`Effect`为`NoSchedule`，这会让系统完全避免在该节点上创建新的Pod： ``` kubectl taint nodes node1.example.com node-role.kubernetes.io/master:NoSchedule=true ``` 4. 检查节点状态，确认污点已经被移除： ``` kubectl describe nodes node1.example.com | grep Taints ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值