k8s的资源管理

k8s驱逐篇(2)-kubelet节点压力驱逐 kubelet监控集群节点的 CPU、内存、磁盘空间和文件系统的inode 等资源,根据kubelet启动参数中的驱逐策略配置,当这些资源中的一个或者多个达到特定的消耗水平,kubelet 可以主动地驱逐节点上一个或者多个pod,以回收资源,降低节点资源压力。本篇文章从什么时候发生驱逐、驱逐哪些pod、怎么驱逐pod三个角度对kubelet节点压力驱逐进行了分析。下一篇将对kubelet节点压力驱逐做一下源码分析。... 阅读详情

QoS

k8s中对容器的资源分配有三种策略:

  • Guaranteed 。该策略下,pod.spec.containers[].resources中会存在cpu或memory的request和limit。顾名思义是该容器对资源的最低要求和最高使用量限制。如果我们配置了limit,没有配置request,默认会以limit的值来定义request。具体的配置可以参考以前的这篇笔记。
  • BestEffort。当pod的描述文件中没有resource.limit、resource.request相关的配置时,意味着这个容器想跑多少资源就跑多少资源,其资源使用上限实际上即所在node的capacity。
  • Burstable。当resource.limit和resource.request以上述两种方式以外的形式配置的时候,就会采用本模式。

QoS目前只用cpu和memory来描述,其中cpu可压缩资源,当一个容器的cpu使用率超过limit时会被进行流控,而当内存超过limit时则会被oom_kill。这里kubelet是通过自己计算容器的oom_score,确认相应的linux进程的oom_adj,oom_adj最高的进程最先被oom_kill。
Guaranteed模式的容器oom_score最小:-998,对应的oom_adj为0或1,BestEffort模式则是1000,Burstable模式的oom_score随着其内存使用状况浮动,但会处在2-1000之间。

因此我们可以看出,当某个node内存被严重消耗时,BestEffort策略的pod会最先被kubelet杀死,其次Burstable(该策略的pods如有多个,也是按照内存使用率来由高到低地终止),再其次Guaranteed。

kubelet的eviction机制

完全依赖于oom_kill并不是一个很好的方案,一来对于cpu要求高的容器没有作用,二来单纯将pod杀死,并不能根本上解决困局,比如pod占用node绝大部分内存,加入pod被kill后再次调度到这个node上,oom的情况还会复现。所以kubelet增加了一套驱逐机制。
eviction机制适用于:
memory.available 、nodefs.available 、nodefs.inodesFree 、imagefs.available 、imagefs.inodesFree
分别对应于node目前可用内存、node上用于kubelet运行日志、容器挂载磁盘所使用的的文件系统的余量和inode余量、node上用于存放容器镜像和读写层的文件系统的余量、inode余量。

eviction中要设置触发驱逐的阈值Eviction Thresholds,这个阈值的配置可以是一个定值或一个百分比。如:
memory.available<10%
memory.available<1Gi

Soft Eviction Thresholds

软驱逐机制表示,当node的内存/磁盘空间达到一定的阈值后,我要观察一段时间,如果改善到低于阈值就不进行驱逐,若这段时间一直高于阈值就进行驱逐。
这里阈值通过参数--eviction-soft配置,样例如上;观察时间通过参数--eviction-soft-grace-period进行配置,如1m30s。
另外还有一个参数eviction-max-pod-grace-period,该参数会影响到要被驱逐的pod的termination time,即终止该pod的容器要花费的时间。

Hard Eviction Thresholds

强制驱逐机制则简单的多,一旦达到阈值,立刻把pod从本地kill,驱逐eviction-hard参数配置,样例亦如上。

pod eviction

当资源使用情况触发了驱逐条件时,kubelet会启动一个任务去轮流停止运行中的pod,直到资源使用状况恢复到阈值以下。以硬驱逐为例,整体流程是:

  • 每隔一段时间从cadvisor中获取资源使用情况,发现触发了阈值;
  • 从运行中的pod里找到QoS策略最开放的一个,比如策略为bestEffort的一个pod(即便这个pod没有吃多少内存,大部分内存是另一个策略为burstable,但内存使用率也很高的pod),kubelet停止该pod对应的所有容器,然后将pod状态更新为Failed。如果该pod长时间没有被成功kill掉,kubelet会再找一个pod进行驱逐。
  • 检查内存用量是否恢复到阈值以下,如果没有,则重复第二步(这里就要干掉那个罪魁祸首了)。一直到内存使用情况恢复到阈值以下为止。

有几个要注意的点是:

  • kubelet挑选pod进行驱逐的策略,就是按照QoS的策略开放度排序,而同一个QoS的多个pod中,kubelet会优先驱逐使用触发指标资源最多的一个。
  • 磁盘的使用不像memory有通过request和limit进行配置,磁盘用量可以认为是一种QoS策略为BestEffort的资源。当触发磁盘资源不足时,kubelet会做一些额外的工作,比如清理已经dead的pod的容器日志,清理没有被使用的容器镜像,当然kubelet也会挑磁盘使用量(包括挂载本地volume空间+容器log大小,若是imagefs指标超额,此处还要加上容器运行时读写层的文件大小)最大的一个pod进行驱逐。

node condition


如上图,当软驱逐或者硬驱逐触发时,kubelet会尝试干掉一个pod,并且会将自身的状态从驱逐的指标信息中映射过来,比如内存使用超标触发驱逐,node的condtion就会变成memoryPressure,这个condition伴随的kubelet定时的心跳报文上传到master,记录在etcd中。在调度器进行调度时,会以这些condition作为调度条件的参考。比如,处于diskPressure的node,调度器就不会再将任何pod调度上去。否则一旦磁盘空间用满,node上的容器可能会严重崩溃。

但如果node的内存在阈值上下波动,condition被反复更新为pressure或正常,那么pod被误调度到node上也会很耽误事,所以用eviction-pressure-transition-period参数指定触发eviction后condition更新一次后要保留改状态的最小时长。在这个时长范围内即便资源使用下降到阈值以下,condition也不会恢复。

其他

Minimum eviction reclaim 我们担心node可能驱逐了一个小pod后,指标就只是稍低于阈值,那么一旦其他pod的指标稍一上来,该node就又要进行eviction。所以用这个参数:
--eviction-minimum-reclaim(值如"memory.available=0Mi,nodefs.available=500Mi,imagefs.available=2Gi")进行限定,一旦发生了eviction,必须要保证node的某指标用量低于(该指标阈值-本参数指定的该指标值)才认为node恢复正常,否则还要接着驱逐pod。
简单的说,该参数表示的是node进行驱逐工作后要达到的效果是低于阈值多少。

【K8S系列】Kubernetes集群资源管理与调度 深度分析 在现代微服务架构中,Kubernetes(K8s)作为容器编排平台,提供了强大的资源管理和调度能力。然而,随着应用规模的扩大和复杂性增加,如何高效地管理和调度集群资源成为一个关键挑战。本文将深入探讨 Kubernetes 中的资源管理策略,重点介绍资源请求和限制、资源配额、限制策略、调度策略以及监控与自动调整机制。 阅读详情

相关推荐

Android HCE模拟NFC标签:实现跨设备NDEF数据共享

本文详细介绍了Android HCE技术如何模拟NFC标签实现跨设备NDEF数据共享。通过核心代码实现和标准AID配置,使手机能够被第三方NFC应用直接读取,支持文本、网址、Wi-Fi配置等多种数据类型,大幅提升设备间数据交换的便捷性和兼容性。

pytorch8learner的博客 252

Kubernetes节点资源耗尽状态的处理

公众号关注「SY技术小站」设为「星标」,每天带你分享技术与生活!最近发现测试环境的k8s集群,总有node利用不上,pod漂移过去之后,启动不了,故仔细排查了一下缘由!问题现象[roo...

神圣坤的博客 2959

华为AR6140E/S5735设备密码策略配置全攻略:从复杂度到锁定机制

本文详细介绍了华为AR6140E/S5735设备的密码策略配置方法,涵盖密码复杂度、时效性和防护性三大核心维度。通过具体的CLI命令示例,指导管理员如何设置密码长度、字符组合、有效期及登录失败锁定等安全机制,为企业网络提供全面的用户名密码防护策略。

weixin_30836759的博客 532

Kubernetes 节点资源不足的高效管理

节点资源不足(out-of-resource)是管理集群时经常出现的情况,本文讨论了一些实用的 Kubernetes 管理实践,可用于 Kubernetes 中节点资源不足的高效管理。 kubelet 是 Kubernetes 中主要节点组件,执行许多关键任务,特别是: 用 kube-apiserver 注册节点。 监视 kube-apiserver 中已经调度的 Pod,通知容器运行时在调度新 Pod 之后重新启动容器。 监视运行中的容器并将其状态报告给 kube-apiser

记录有价值的内容 1352

智能座舱架构与芯片- (9) 音频篇 上

从A2B收发器衍生出来的简化产品具备各种级别的功能,例如端点从节点(不支持TDM)、简化型主节点(支持较短的电缆和更少的从节点数量),以及简化型端点从节点(支持较短电缆和更少的PDM输入)。例如,AVB中的talker和listener是不同的设备,它们的参考时钟源可能并不相同。传统的车载收音机通过天线接收无线电信号,然后由调谐模块(Tuner)进行信号调谐,信道过滤,信道均衡,多路改善,信号解调等,转为数字信号后再交给DSP进行立体声解码,噪声抑制,弱信号处理,最后从车载音响系统进行播放。

joanna_xiao的博客 4914

大疆 DJI Mobile SDK实战指南——从零构建Android示例开发环境

本文提供了一份详尽的DJI Mobile SDK Android开发环境搭建实战指南。文章手把手教你从注册开发者账号、获取App Key,到配置Android Studio、下载官方示例代码,最终成功运行DJI官方Android示例程序,帮助开发者快速入门无人机应用开发,避开常见编译与依赖问题。

weixin_29188043的博客 275

k8s根目录超过多少会触发驱逐Pod

需要注意的是,驱逐过程可能会导致节点上的Pod被删除,因此在调整阈值时需要谨慎。在Kubernetes中,根据不同的配置和实际情况,节点上的根目录可能会出现不同的使用情况。如果在kubelet的配置文件中没有明确设置根目录使用的阈值,那么Kubernetes将会使用默认的阈值。可以通过修改kubelet的配置文件来设置根目录的使用阈值,例如在kubelet的启动参数中添加。参数用于设置根目录使用的阈值。你可以通过修改kubelet的启动参数来设置根目录使用的阈值,例如在kubelet的启动参数中添加。

喝醉酒的小白 2400

AgentScope深入分析-ReActAgent

ReActAgent 是 AgentScope 框架中最核心的智能体实现,它完美诠释了"推理-行动"(Reasoning-Acting)循环的精髓。本文将深入分析 ReActAgent 的类继承关系、核心执行流程,以及状态管理、钩子机制、实时介入等关键技术点。通过阅读本文,你会理解智能体如何与模型交互、如何执行工具、如何处理中断,以及这些机制背后的设计考量。模块化:通过组合不同的组件(模型、格式化器、工具集、记忆)来构建智能体透明性:所有关键流程都对开发者可见,可以精确控制可扩展性。

843

Kubernetes(K8s)资源管理

本文介绍了Kubernetes(K8s)资源管理的关键概念和方法。K8s通过抽象资源(如Pod、控制器、Service等)实现集群管理,并提供三种资源操作方式:命令式对象管理(直接操作资源)、命令式对象配置(通过配置文件操作)和声明式对象配置(自动同步期望状态)。文章详细说明了kubectl命令行工具的使用方法,包括基础操作、资源更新、集群维护和故障排查等核心命令。同时介绍了命名空间的隔离作用及系统默认命名空间。建议开发/生产环境使用声明式对象配置方式,配合YAML配置文件实现高效管理。掌握这些基础概念和工

t_suifeng的博客 1171

MuJoCo 入门教程(二)

本章介绍 MuJoCo 的数学和算法基础。对于熟悉广义或关节坐标建模和仿真的读者来说,整体框架是相当标准的。因此,我们将对这些材料进行简要总结。本章的大部分篇幅用于介绍我们如何处理接触和其他约束条件。这种方法是基于我们最近的研究,也是 MuJoCo 所独有的,因此我们花时间对其进行了详细的激励和解释。更多信息可参见下面的论文,尽管本章中的一些技术思想是新的,在其他地方还没有描述过。

机器人控制与仿真应用 3714

python opencv的车牌识别分割详细教程 毕业设计

python opencv的车牌识别分割详细教程 毕业设计

机器学习深度学习业余选手 1328

mcp-k8s:赋能智能化的Kubernetes资源管理

mcp-k8s:赋能智能化的Kubernetes资源管理 在云计算与容器技术日益普及的今天,Kubernetes已经成为管理和部署容器化应用的事实标准。然而,复杂的命令和资源配置文件常常让开发者和管理员感到困惑。mcp-k8s项目正是为了简化这一过程而诞生,它通过Model Control Protocol(MCP)提供了一种新的交互方式,让Kubernetes资源管理变得更加直观和高效。 项目介...

gitblog_00146的博客 1203

极智AI | 算能SC5+智算卡驱动安装与升级

大家好,我是极智视界,本文介绍一下 算能SC5+智算卡驱动安装与升级

极智视界 1278

【kubernetes】k8s配置资源管理

configMap资源(简称cm)作用:用于保存配置文件、环境变量等不需要加密的信息。它可以实现将配置信息与应用程序镜像解耦创建cm资源kubectl create cm <资源名称> -n <命名空间> --from-file=文件|目录 --from-liternal=<键名>=<键值>查看cm资源kubectl describe -n <命名空间> cm <资源名称>kubectl get -n <命名空间> cm <资源名称> -o yaml。

qq_54188720的博客 1389

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

【kubernetes】探索k8s集群中kubectl的陈述式资源管理

k8s中文文档:http://docs.kubernetes.org.cn/683.html。

YCyjs的博客 1188

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

【kubernetes】-2 K8S的资源管理

K8S资源管理

ordinary的博客 1815

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

【k8s应用管理】kubernetes 配置资源管理

Secret是 Kubernetes 中用于存储敏感信息的资源对象。可以通过命令行或 YAML 文件创建 Secret。Secret 可以通过挂载 Volume 或环境变量的方式在 Pod 中使用。使用 Secret 可以有效减少敏感信息的暴露风险,并方便管理。Secrets。作用:存储非加密的配置数据(如应用配置、环境变量),与 Secret 类似,但用于非敏感信息。应用场景:管理应用的配置参数(如数据库地址、日志级别)。核心特点支持从文件、目录或字面值创建。

Karoku的博客 1396

《Kubernetes》 资源管理+实战

本文介绍了Kubernetes资源管理和YAML语言基础,以及三种资源管理方式(命令式对象管理、命令式对象配置、声明式对象配置)。重点讲解了Namespace、Pod、Deployment和Service等核心资源的概念与操作,包括创建、查看和删除等。通过部署Nginx服务的实战案例,演示了从Pod创建到Service暴露的完整流程。此外,还介绍了如何开启IPVS模式优化Service性能。文章为Kubernetes初学者提供了入门级指导,涵盖资源管理的基本操作和实践技巧。

2301_80348933的博客 1097

【k8s应用管理】kubernetes lngress资源管理

作用:作为 Kubernetes 集群的接入层,接收外部请求并根据规则(域名或 URL 路径)将请求转发到相应的 Service 和 Pod。特点支持七层代理(HTTP/HTTPS)。提供灵活的流量管理(如基于域名、路径的转发)。支持 TLS 加密、认证、重写路径等高级功能。功能:现代 HTTP 反向代理和负载均衡工具,专为微服务架构设计。特点实时与 Kubernetes API 交互,自动感知后端 Service 和 Pod 的变化。支持自动服务发现和配置更新。

Karoku的博客 1371

kubernetes/k8s配置资源管理

系统自建的:kubernetes.io/service-account-token,用来访问apiserver,pod会默认使用这个kubernetes.io/service-account-token创建的secret和apiserver通信,自动挂载到pod的/run/secret/kubernetes.io/serviceaccount.保存的是不需要加密的信息。configMap的热更新:热更新可以直接反映到容器内部,也不会触发pod的更新机制,如果不是需要重启的配置,都可以直接生效。

m0_52416577的博客 1143

【Kubernetes】k8s集群配置资源管理

k8s集群配置资源管理

weixin_68840588的博客 680

kubernetes中的资源管理

在kubernetes中,所有的内容都抽象为资源,用户需要通过操作资源来管理kubernetes。kubernetes的本质上就是一个集群系统,用户可以在集群中部署各种服务,所谓的部署服务,其实就是在kubernetes集群中运行一个个的容器,并将指定的程序跑在容器中。kubernetes的最小管理单元是pod而不是容器,所以只能将容器放在Pod中,而kubernetes一般也不会直接管理Pod,而是通过Pod控制器来管理Pod的。

weixin_68398469的博客 1139

Kubernetes(k8s)资源管理

Kubernetes(k8s)资源管理;yaml文件示例;三种资源管理的方式

你看月亮好美的博客 579

【Kubernetes】k8s集群中kubectl的陈述式资源管理

书籍是糊口的加速器

F12138X的博客 1557
上一篇: is not in the sudoers file 解决(转)
下一篇: Kubelet 对资源紧缺状况的应对
hxpjava1
博客等级 码龄19年 1365粉丝 511原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值