k8s pod内存驱逐问题解决

最新推荐文章于 2025-04-22 10:10:37 发布
最新推荐文章于 2025-04-22 10:10:37 发布
阅读量705 收藏 4
点赞数 5
CC 4.0 BY-SA版权
文章标签： kubernetes docker 容器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/litaimin/article/details/139901761

背景：突然收到 web 无法访问告警，然后发现前段应用pod状态为Evicted，证明pod是被驱逐了

排查过程：
1、查看pod状态：
kubectl get pods

kubectl get pods -A | grep 0/1
 web-nginx-865674789f-c7bv4  0/1   Evicted       0   25h   <none>  192.168.3.10  <none>
 web-nginx-865674789f-ggb27  0/1   Evicted       0   25h   <none>  192.168.3.10  <none
最低0.47元/天 解锁文章

200万优质内容无限畅学
K8S Pod状态为“被驱逐(evicted)”的解决方法
酒酿小圆子呀～
03-29 7463
在Kubernetes中，pod是最小的调度单元。当Pod无法在所分配的节点上正常运行时，它可能会被驱逐(evicted)。这种情况可能是由多种原因引起，比如节点资源不足、Pod超出了所分配的资源限制、镜像拉取失败等。
k8s资源不足时驱赶pod阈值调整
qq_59634082的博客
03-20 1664
在 Kubernetes 中，节点上的 Pod 在内存使用过高时会被驱逐，以防止节点资源耗尽
云计算-k8s节点主机内存充足但是主机内存溢出pod被驱逐
weixin_36410293的博客
08-27 181
内存充足但是pod被驱逐，处理办法登录后复制 free -h #查看一下total对应的值。1.登录后复制 #查看/sys/fs/cgroup/memory/kubepods.slice/memory.limit_in_bytes 的值并除以三次10241.登录后复制 #清理了下该问题节点内存的缓存，并重启了kube...
解决k8s集群环境内存不足导致容器被kill问题
u012516914的专栏
10-15 5812
背景最近线上环境上出现了一个问题， k8s集群环境Pod中的tomcat容器运行一段时间后直接被killd，但有时一切看起来正常，不能准确判断在什么时机出现被Killd问题。本文就此问题...
K8s Pod驱逐和系统资源预留-Day 06
qq_42515722的博客
08-07 1204
驱逐信号是特定资源在特定时间点的当前状态。kubelet 使用驱逐信号，通过将信号与驱逐条件进行比较来做出驱逐决定， 驱逐条件是节点上应该可用资源的最小量。软驱逐条件出发后并不会立即驱逐pod，而是会等待宽限期（默认30s）结束，在条件持续到宽限期还没有恢复，kubelet再强制杀死pod并触发驱逐。可以自定义宽限期。硬驱逐条件没有宽限期。当达到硬驱逐条件时， kubelet 会立即杀死 pod，而不会正常终止以回收紧缺的资源。
K8s之Pod调度、抢占和驱逐（K8s Pod Scheduling, Preemption, and Eviction）
Linux运维老纪的博客
12-31 1021
Kubernetes（K8s）作为一个容器编排平台，其调度（Scheduling）、抢占（Preemption）和驱逐（Eviction）机制是确保集群资源合理分配、高效使用并保证应用健康运行的关键部分。 调度（scheduling）指的是确保 Pod 匹配到合适的节点， 以便 kubelet 能够运行它们。 抢占（Preemption）指的是终止低优先级的 Pod 以便高优先级的 Pod 可以调度到 Node 上的过程。 驱逐（Eviction）是在资源匮乏的节点上，主动让一个或多个 Pod 失效的过程
k8s驱逐篇(1)-k8s QoS与pod驱逐
良凯尔的博客
07-10 4298
Kubernetes会根据pod的QoS级别来决定pod的调度、抢占调度和驱逐优先级，而且pod的QoS级别也影响oomkiller对杀死进程的选择。
K8S学习指南(48)-k8s的pod驱逐
俞兆鹏的博客
12-30 1762
Pod的驱逐是指Kubernetes系统自动终止运行中的Pod，并将其重新调度到其他节点的过程。当节点发生故障或不可用时，Kubernetes会将该节点上运行的Pod驱逐，以确保应用的高可用性。当节点资源（如CPU、内存）不足以满足Pod的需求时，调度器可能会决定驱逐某些Pod，以释放资源并为其他Pod腾出空间。在驱逐发生时，Kubernetes调度器会尽量保持系统的稳定性，确保驱逐的Pod在其他节点上得到合理的重新调度。
k8s之pod详解（K8s Pod Detailed Explanation ）
Linux运维老纪的博客
10-05 1265
Pod 是 k8s中最小的资源管理组件，Pod 也是最小化运行容器化应用的资源对象。一个 Pod 代表着集群中运行的一个进程。kubernetes 中其他大多数组件都是围绕着 Pod 来进行支撑和扩展 Pod 功能的，例如用于管理 Pod 运行的 StatefulSet 和 Deployment 等控制器对象，用于暴露 Pod 应用的 Service 和 Ingress 对象，为 Pod 提供存储的 PersistentVolume 存储资源对象等.本章详细介绍pod.
K8s驱逐场景以及规避方案参考 —— 筑梦之路
筑梦之路
07-08 1360
应用在申请或控制资源时，前置准入控制，查看当然 request 值水位，控制到安全水位，资源不足时，扩充 Node 后，才允许申请扩容。主动驱逐，受限于 PDB，如果配置了 PDB，会防止应用出现全部不可用的状况，但是直接 操作 DELETE Pod ，不受 PDB 限制，所以 drain 比 直接 DELETE 会安全一些，当做节点维护时。节点打污点（NoExecute），导致 Pod 被驱逐，或者移除亲和性标签，导致 Pod 被驱逐， Controller Manager 发起的驱逐。
k8s部署-34-初始k8s的驱逐策略
ouyangzhenxin的博客
04-18 1182
 在我们配置完毕namespace的存储数量、每个pod的限制、各方面都规范之后，我们真的可以高枕无忧了嘛？如果某天真的出现意外情况，k8s是怎么处理的呢？我们又该如何去配置呢？往下看。 常见驱逐策略1、软驱逐# 当内存小于1.5G --eviction-soft=memory.available<1.5Gi # 持续时间 --eviction-soft-grace-period=memory.available=2m30s 上面的含义是说，当节点内存小于1.5G
kubernetes/k8s驱逐机制总结篇
良凯尔的博客
08-27 2456
k8s的驱逐机制是指在某些场景下，如node节点notReady、node节点压力较大等，将pod从某个node节点驱逐掉，让pod的上层控制器重新创建出新的pod来重新调度到其他node节点。根据发起驱逐的组件，驱逐可以分为3类：由kubelet发起的驱逐、由kube-controller-manager发起的驱逐、由kube-scheduler发起的驱逐。
K8S节点出现Evicted状态“被驱逐”
最新发布
杜小帅的博客
04-22 730
在中，Pod状态为“被驱逐（evicted）”表示Pod无法在当前节点上继续运行，已被集群从节点上移除。
K8S是否存在因DiskPressure驱逐pod，cks老鸟来剖析！
力哥讲技术
03-09 2255
在生产中这些情况是不能忍受的，我们探究一下是什么原因导致的这些，以及如何提前预防并解决相关问题。只有了解这些问题如何产生，才能找到具体解决办法。上面三个默认配置，一个是 kubelet，一个是 docker 的，还有就是相关日志配置的，并且发现。组件完成的，该组件专用于监控容器运行环境，当监控到上面列出的文件系统达到一定量后将会发出。目录下，日志相关文件占用空间非常大，导致 /var 目录挂载的磁盘非常容易被占满。目录下，这个目录占用空间比较大，导致 /var 目录挂载的磁盘非常容易被占满。
k8s驱逐篇(2)-kubelet节点压力驱逐
「 虚幻私塾」
08-13 1535
kubelet监控集群节点的 CPU、内存、磁盘空间和文件系统的inode 等资源，根据kubelet启动参数中的驱逐策略配置，当这些资源中的一个或者多个达到特定的消耗水平，kubelet 可以主动地驱逐节点上一个或者多个pod，以回收资源，降低节点资源压力。本篇文章从什么时候发生驱逐、驱逐哪些pod、怎么驱逐pod三个角度对kubelet节点压力驱逐进行了分析。下一篇将对kubelet节点压力驱逐做一下源码分析。...
k8s驱逐篇(3)-kubelet节点压力驱逐-源码分析篇
良凯尔的博客
08-13 2850
kubelet节点压力驱逐-概述。kubelet监控集群节点的 CPU、内存、磁盘空间和文件系统的inode 等资源，根据kubelet启动参数中的驱逐策略配置，当这些资源中的一个或者多个达到特定的消耗水平，kubelet 可以主动地驱逐节点上一个或者多个pod，以回收资源，降低节点资源压力。 ...
Kubernetes 单机侧的驱逐策略总结
云原生实验室
07-18 1098
❝本文转自 Edwardesire 的博客，原文：https://edwardesire.com/posts/process-eviction-under-k8s/，版权归原作者所有。欢迎投稿，投稿请添加微信好友：cloud-native-yang进程驱逐：当机器存在资源压力时，可能是由于有恶意程序在消耗系统资源，或者是 overcommit 导致。系统通过控制机器上的进...
k8s驱逐机制汇总
zxyuliwuzhognzx11的博客
08-12 2607
k8s驱逐机制汇总，分析了4种驱逐
k8s 实战 常见异常事件 event 及解决方案分享
热门推荐
LoveSummer
01-06 6万+
重启集群中的coredns组件发生重启(重新创建)，一般是由于coredns组件压力较大导致oom，请检查业务是否异常，是否存在应用容器无法解析域名的异常。如果是local-dns重启，说明local-dns的性能也不够了，需要优化。
K8S 硬盘到达85会驱逐Pod 怎么更改
06-08
在Kubernetes中，硬盘到达一定使用量后会驱逐Pod，以避免磁盘空间不足的情况。默认情况下，硬盘使用量达到80%时，Kubernetes会开始清理不需要的数据以释放磁盘空间。如果硬盘使用量达到85%，Kubernetes会开始驱逐Pod。如果需要更改这些默认配置，可以通过修改kubelet的启动参数来实现。 以下是修改kubelet启动参数的步骤： 1. 编辑kubelet的启动配置文件，例如： ``` vi /etc/systemd/system/kubelet.service.d/10-kubeadm.conf ``` 2. 找到“ExecStart=/usr/bin/kubelet”这一行，添加需要更改的参数，例如： ``` ExecStart=/usr/bin/kubelet --eviction-hard="memory.available<100Mi,nodefs.available<10%,nodefs.inodesFree<10%" --eviction-soft="memory.available<200Mi,nodefs.available<20%,nodefs.inodesFree<20%" --eviction-soft-grace-period=1m --eviction-pressure-transition-period=5m ``` 在上述示例中，我们添加了4个参数： - `--eviction-hard`：定义硬阈值，即当内存可用空间小于100Mi或节点文件系统可用空间小于10％或节点文件系统可用inode数量小于10％时，将立即驱逐Pod。 - `--eviction-soft`：定义软阈值，即当内存可用空间小于200Mi或节点文件系统可用空间小于20％或节点文件系统可用inode数量小于20％时，将开始驱逐Pod。 - `--eviction-soft-grace-period`：定义软阈值容忍时间，即当软阈值条件满足后，Kubernetes将等待1分钟后再开始驱逐Pod。 - `--eviction-pressure-transition-period`：定义硬阈值到软阈值的过渡时间，即当内存可用空间小于100Mi或节点文件系统可用空间小于10％或节点文件系统可用inode数量小于10％时，Kubernetes将等待5分钟后再开始驱逐Pod。 3. 修改完成后，保存文件并重新加载kubelet的配置文件： ``` systemctl daemon-reload ``` 4. 重启kubelet服务： ``` systemctl restart kubelet ``` 修改完成后，Kubernetes将根据新的配置来判断何时开始驱逐Pod，从而避免磁盘空间不足的情况。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值