k8s eviction机制

最新推荐文章于 2025-03-05 14:30:20 发布
最新推荐文章于 2025-03-05 14:30:20 发布
阅读量2.5k 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： k8s
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wasd12121212/article/details/82780816
本文深入探讨了Kubernetes中EvictionManager的工作原理，详细解释了如何通过soft和hard阈值判断节点资源是否处于饥饿状态，以及如何根据GracePeriod成员的设置决定Pod的驱逐策略。

kubelete端：

创建eviction manager然后一直的去执行synchronize，synchronize函数会去计算node的是否超过阈值，没有则返回，过一段时间在计算，有超过则killpod.hardEvicthon则过一段时间再去

计算节点阈值情况：
// determine the set of resources under starvation
starvedResources := reclaimResources(thresholds)
if len(starvedResources) == 0 {
   glog.V(3).Infof("eviction manager: no resources are starved")
   return
}

soft的eviction是通过过滤graceperiod时间还是满足threshold，则进行evict

hard的监控到超过threshold则直接进行evict

综上：soft和hard的处理是通过threshold的GracePeriod成员，并设置其值，0表示hard，其他表示soft，并根据这个threshold来排序activepod，每次执行synchronize只删除一个pod.

 

K8S篇之pod服务因空间资源不足问题而被驱逐Evicted问题
小橙子的笔记屋
06-16 215
修复pod异常因资源空间不足问题
k8s 驱逐eviction机制源码分析
fengcai_ke的博客
12-10 2616
k8s eviction原理/源码分析
k8s驱逐机制汇总
zxyuliwuzhognzx11的博客
08-12 2618
k8s驱逐机制汇总，分析了4种驱逐
k8s中所有pod都变成evicted状态了！！！！！！！！
kay
12-25 3397
k8s本来跑的好好的，突然发现上面的服务都停了，然后查看发现pod状态变了，网上发现说是资源不足导致的，然后疯狂查找。 1.查看内存情况，命令：free -g ，发现没问题 2.查看内存情况，命令：top ，发现没问题 3.查看硬盘情况，命令：df -lh，发现硬盘没问题，但启动的docker镜像有问题！！！！！ 继续查找发现是由于启动的docker占用的空间大于85%导致挂掉的。 然后查看docker ps -a,发现有很多已经停止的容器，就是这里！！！！！！ 删除掉这些不用的，命令：do
k8s驱逐策略
sophia__yu的博客
08-18 6963
一：为什么要有驱逐 pod.spec.containers[].resources中会存在cpu或memory的request和limit。即该pod请求的最小资源和Node结点可以给的最大资源。 当一个容器的cpu使用率超过limit时会被进行流控，而当内存超过limit时则会被oom_kill。 完全依赖于oom_kill并不是一个很好的方案，一来对于cpu要求高的容器没有作用，二来单纯将po...
kubernetes/k8s驱逐机制总结篇
良凯尔的博客
08-27 2482
k8s的驱逐机制是指在某些场景下，如node节点notReady、node节点压力较大等，将pod从某个node节点驱逐掉，让pod的上层控制器重新创建出新的pod来重新调度到其他node节点。根据发起驱逐的组件，驱逐可以分为3类：由kubelet发起的驱逐、由kube-controller-manager发起的驱逐、由kube-scheduler发起的驱逐。
kubernetes的eviction机制
redenval的专栏
11-19 8851
eviction，即驱赶的意思，意思是当节点出现异常时，kubernetes将有相应的机制驱赶该节点上的Pod。eviction在openstack的nova组件中也存在。 目前kubernetes中存在两种eviction机制，分别由kube-controller-manager和kubelet实现 1. kube-controller-manager实现的eviction kube-co...
K8S篇之谈谈kubelet的上报机制
小橙子的笔记屋
11-09 878
kubelet的上报机制
K8s 1.27.1 实战系列（一）介绍及准备工作
白昼的技术专栏
03-05 704
K8s 1.27.1 实战系列（一）准备工作
谈谈K8S Pod Eviction 机制
qq_24794401的博客
01-11 2452
Pod Eviction 简介Pod Eviction是k8s一个特色功能，它在某些场景下应用，如节点NotReady、Node节点资源不足，把pod驱逐至其它Node节点。从发起模块...
K8S 很多 pod 状态为 Evicted
07-13 1849
今天突然发现很多 K8S 中的服务访问不到了，就连 dashboard 都打不开了，用 kubectl 看了下出现了很多 Evicted 状态的 pod；查询日志：# kubectl describe pod xxxx -n nsName发现问题如下：Pod The node had condition: [DiskPressure].问题应该是：硬盘满了通过 df -h 及 du -h --max-depth=1 命令逐级查找，发现是 /home/data/logs/kubernetes/kube-api
遇到问题--k8s--pod的状态为evicted
Rocky
06-25 3240
在重启K8S集群的某一节点docker之后，使用命令获取pod状态的时候发现，大多数的pod状态为evicted。 原因 eviction，即驱赶的意思，意思是当节点出现异常时，kubernetes将有相应的机制驱赶该节点上的Pod。 多见于资源不足时导致的驱赶。 报错 因此查看kubelet日志发现有报错显示为Pod The node has condition: [DiskPressure] 因为前期没有规划好docker的目录以及根目录的空间，所以才会导致这样，没办法，只能手动清除docker缓存
【k8s】状态为 Evicted 的 Pod
Aiky哇
10-09 455
在查看k8s的环境的时候，突然发现存在n多个pod状态为Evicted。差不多得有几百个。
8.深入k8s：资源控制Qos和eviction及其源码分析
ss810540895的博客
06-19 496
这一篇讲解了其中资源控制是怎么做的，理解了通过limit和request的设置会影响到pod被删除的优先级，所以我们在设置pod的时候尽量设置合理的limit和request可以不那么容易被kill掉；然后通过分析了源码知道了limit和request会影响到QOS的评分，从而影响到pod被kill掉的优先级。接下来通过源码分析了k8s中对阈值的设定是怎样的，当资源不够的时候pod是根据什么条件被kill掉的，这一部分花了很大的篇幅来介绍。
Kubernetes Eviction Manager工作机制分析
liukuan73的专栏
12-13 4065
http://blog.youkuaiyun.com/WaltonWang/article/details/55804309 摘要：为了极限的压榨资源，很多时候Kubernetes集群会运行一些Best-Effort Task，这样就会存在资源超配的情况，Kubernetes是如何控制Node上资源的使用，在压榨资源使用的同时又能保证Node的稳定性？本文就为你介绍其背后运行机制。我的下一篇博文，会
K8S状态为evicted
LSB19930706的博客
02-22 953
报错：xx is Evicted on xx主机 查询找出Evicted状态节点 kubectl get pods | grep Evicted 删除节点,自动重启 kubectl delete pod $podName 也可以通过脚本定时执行 kubectl get pods | grep Evicted | awk '{print $1}' | xargs kubectl delete pod xargs 是给命令传递参数的一个过滤器，可以将管道或标准输入的数据转换成参数 原因
kubernetes驱逐机制总结
11-05 440
k8s的驱逐机制是指在某些场景下，如node节点notReady、node节点压力较大等，将pod从某个node节点驱逐掉，让pod的上层控制器重新创建出新的pod来重新调度到其他node节点。这里也将kube-scheduler的抢占调度纳入到了驱逐的讨论范围内，因为当调度高优先级的pod时发现资源不足，会驱逐掉node节点上原有的低优先级的pod。根据发起驱逐的组件，驱逐可以分为3类：（1）由kubelet发起的驱逐：节点压力驱逐；
Kubernetes基础(二十六)-kubernetes的eviction机制
sre救赎之路
02-26 1458
eviction，即驱赶的意思，意思是当节点出现异常时，将有相应的机制驱赶该节点上的Pod。eviction在openstack的nova组件中也存在。目前kubernetes中存在两种eviction机制，分别由kube-controller-manager和kubelet实现。
k8s限制Evicted数量防止集群异常
jiayu的博客
10-16 846
kube-controller-manager的eviction机制是粗粒度的，即驱赶一个节点上的所有pod，而kubelet则是细粒度的，它驱赶的是节点上的某些Pod，驱赶哪些Pod与Pod的Qos机制有关。驱逐会考虑Pod的优先级，资源使用和资源申请。Eviction，即驱逐的意思，意思是当节点出现异常时，为了保证工作负载的可用性，kubernetes将有相应的机制驱逐该节点上的Pod。
k8s驱逐机制使用经验
最新发布
08-12
<think>嗯，用户想了解Kubernetes的驱逐机制及其最佳实践。这是个比较专业的容器编排管理问题，需要从系统设计和运维角度来解析。 用户可能是DevOps工程师或云原生开发者，正在处理集群资源管理问题。从ta直接要"解释和最佳实践"来看，可能已经遇到实际驱逐事件，需要理论结合实践的指导。深层需求应该是想避免生产环境因资源不足导致Pod被意外终止。 Kubernetes驱逐机制涉及多个层次：首先是资源监控体系，kubelet持续追踪节点内存、磁盘等指标；其次是软硬驱逐阈值设定，这里要区分可配置的驱逐信号类型；最后是实际驱逐策略执行时的优先级排序逻辑。用户可能特别关心如何平衡资源利用率和应用稳定性。 关于最佳实践，需要强调三点核心：资源请求/限制的合理设置（避免内存黑洞应用）、监控体系的完善（Prometheus+Alertmanager组合）、以及优雅终止的配置（preStop钩子的正确使用）。用户如果使用有状态服务，还需要额外关注local storage的清理问题。 考虑到用户后续可能深入排查，补充了PodDisruptionBudget和kubelet日志的实用技巧。这些在真实故障排查时都是关键突破口。最后生成的问题链覆盖了从理论（QoS分类）到实践（API调优），再到具体场景（批处理系统），应该能覆盖用户可能的延伸需求。 特别要注意的是，在解释memory.available这类指标时需要用行内公式明确其计算逻辑$memory.available = node_capacity - working_set$，但用户文档往往不强调这个细节，容易导致阈值配置失误。</think>以下是关于 Kubernetes 驱逐机制的解释与最佳实践： --- ### **Kubernetes 驱逐机制详解** #### 1. **驱逐触发条件** 当节点资源（如内存、磁盘）不足时，kubelet 会触发驱逐以保护节点稳定性： - **内存压力**：当 `memory.available` 低于阈值时（默认值：`100MiB`） - **磁盘压力**： - `nodefs`（根分区）可用空间不足（默认：`10%`） - `imagefs`（容器运行时存储）可用空间不足（默认：`15%`） - **PID 不足**（可选配置） 驱逐阈值可通过 kubelet 参数调整，例如： ```bash --eviction-hard=memory.available<500Mi,nodefs.available<5% ``` #### 2. **驱逐优先级** kubelet 按以下顺序驱逐 Pod[^1]： 1. **BestEffort** → **Burstable** → **Guaranteed**（QoS 等级） 2. 资源使用量超过请求量（`requests`）的 Pod 优先 3. 按优先级（PriorityClass）排序，低优先级 Pod 先被驱逐 #### 3. **驱逐类型** | **类型** | **行为** | |----------------|--------------------------------------------------------------------------| | **软驱逐** | 在阈值触发后等待宽限期（如 `memory.available<1Gi` 持续 2 分钟） | | **硬驱逐** | 立即终止 Pod（无宽限期） | | **主动驱逐** | kubelet 主动监控资源并触发 | | **API 驱逐** | 用户通过 `kubectl drain` 或 Eviction API 手动触发 | --- ### **最佳实践** #### 1. **资源请求与限制** ```yaml resources: requests: memory: "256Mi" cpu: "100m" limits: memory: "512Mi" # 避免过高，防止被 OOMKill ``` - **关键点**：所有 Pod 必须设置 `requests`，否则会被视为最高资源消耗者优先驱逐。 #### 2. **优雅终止处理** ```yaml lifecycle: preStop: exec: command: ["sh", "-c", "sleep 30; nginx -s quit"] # 留出清理时间 terminationGracePeriodSeconds: 60 ``` #### 3. **监控与告警** - 监控指标： - `kube_node_status_condition{condition="DiskPressure"}` - `kube_pod_status_reason{reason="Evicted"}` - 推荐工具：Prometheus + Grafana + kube-state-metrics #### 4. **配置优化** - **调整阈值**（在 `/var/lib/kubelet/config.yaml`）： ```yaml evictionHard: memory.available: "500Mi" nodefs.available: "10%" evictionSoftGracePeriod: memory.available: 1m30s ``` - **启用本地存储清理**： ```bash --feature-gates=LocalStorageCapacityIsolation=true ``` #### 5. **特殊场景处理** - **有状态应用**：使用 `PodDisruptionBudget` 保障最小可用实例数 ```yaml apiVersion: policy/v1 kind: PodDisruptionBudget spec: minAvailable: 2 # 保证至少 2 个 Pod 运行 selector: matchLabels: app: mysql ``` - **关键系统组件**：通过 `priorityClassName: system-cluster-critical` 避免驱逐 --- ### **故障排查命令** ```bash # 查看被驱逐的 Pod kubectl get pods -A | grep Evicted # 检查节点资源压力 kubectl describe node <node-name> | grep -i pressure # 查看 kubelet 日志（Linux 系统） journalctl -u kubelet | grep -i eviction ``` > ⚠️ **经验总结**： > 生产集群中，**80% 的驱逐事件源于未设置 `requests`** 或 `limits` 配置不合理。定期通过 `kubectl top pods` 监控实际资源使用，结合 HPA 实现动态扩缩容，可显著减少驱逐发生[^2]。 --- ### 相关问题 1. **如何为 Kubernetes 集群设置合理的资源请求（requests）和限制（limits）？** 2. **PodDisruptionBudget 在集群升级时如何保障应用可用性？** 3. **Kubernetes 中 OOMKill 与驱逐机制的关联与区别是什么？** 4. **如何通过 Prometheus 实现驱逐事件的自动化告警？** 5. **在混合部署场景（在线+离线业务）下，如何优化驱逐策略？** [^1]: Kubernetes 官方文档 - [驱逐策略](https://kubernetes.io/docs/concepts/scheduling-eviction/node-pressure-eviction/) [^2]: 《Kubernetes in Action》第 14 章 - 资源管理与调度
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值